行情
…

理論說「吸引力驅動聚類」,真實模型說:不對

1/ Geshkovski 等人把 attention 建模成球面上的動力系統,預測 token 會聚類並漂向共識,並在途中出現 metastable 雙時間尺度結構。

理論說「吸引力驅動聚類」,真實模型說:不對

理論說「吸引力驅動聚類」,真實模型說:不對

1/ Geshkovski 等人把 attention 建模成球面上的動力系統,預測 token 會聚類並漂向共識,並在途中出現 metastable 雙時間尺度結構。核心假設:Q=K=V=單位矩陣。把這套理論搬進訓練好的 transformer,三條預測存活,兩條崩掉。

2/ 存活的三條都很乾淨。跨層 token 表示聚類,在每個測試模型、每個真實 prompt 上皆成立;這些聚類以 metastable 平台的形式跨多層持續、再重組;快速形成與緩慢合併的雙時間尺度,在超過深度門檻後確實分離。結構預測,準。

3/ 第一條崩:理論要求交互能量單調遞增,但在每個模型、每個 prompt、每種溫度下都出現下降。聚類是真實的,但背後不是理論描述的純吸引梯度流。這是普遍性的反例,不是邊緣案例。

4/ 第二條崩在機制層。崩塌速度不由模型維度或深度決定,而是由 value matrix 的譜半徑主導,維度較高的模型反而崩塌較慢,與 Theorem 6.1 的預測完全相反。V 矩陣才是關鍵,不是架構規模。

5/ 收束:聚類是真的,但驅動它的機制不是理論說的純吸引梯度流。理論抓到了現象的形狀,卻猜錯了引擎。

→

繼續閱讀

查看全部 →
NewsAI 快訊

DeepSeek 成立產品部:1.3 億免費用戶要怎麼變現、會學 ChatGPT 訂閱嗎

2026 年 10 月 16 日,DeepSeek 將 Harness、Web、App、Platform 四個團隊整合為產品部,崔添翼出任負責人,多方媒體解讀為 DeepSeek 首次以獨立部門形式明確強化 C 端與 B 端產品落地能力。

DeltaMedia 編輯部7 分鐘
NewsAI 快訊

開源 vs 閉源 AI:中美競爭為何從拼模型變成拼生態

2026 年 1 月,美國商務部工業與安全局將輝達 H200、AMD MI325X 等晶片改為逐案審查,算力管制持續在安全考量、產業利益和市場需求之間調整,推動中國 AI 企業強化演算法效率和開放路線。

DeltaMedia 編輯部8 分鐘
NewsAI 快訊

Alibaba Tongyi-MAI MAI-UI 團隊於 2026 年 10 月 14 日推出 OpenGCUA,主打首個通用電腦使用代理

目前主流的通用電腦使用代理,例如 GPT-6 Astra 的電腦使用系統,大多保持封閉狀態。

DeltaMedia 編輯部4 分鐘
NewsAI 快訊

不給前瞻指引!Fed 沃什喊「一切看資料」,升息押注應聲血崩、美股期貨狂飆

沃什表明 Fed 將放棄前瞻指引、改看資料決策,市場對 10 月升息押注隨之冷卻,轉向預期 12 月才升息 1 碼。

DeltaMedia 編輯部6 分鐘