行情
…

理論說「吸引力驅動聚類」,真實模型說:不對

1/ Geshkovski 等人把 attention 建模成球面上的動力系統,預測 token 會聚類並漂向共識,並在途中出現 metastable 雙時間尺度結構。

理論說「吸引力驅動聚類」,真實模型說:不對

理論說「吸引力驅動聚類」,真實模型說:不對

1/ Geshkovski 等人把 attention 建模成球面上的動力系統,預測 token 會聚類並漂向共識,並在途中出現 metastable 雙時間尺度結構。核心假設:Q=K=V=單位矩陣。把這套理論搬進訓練好的 transformer,三條預測存活,兩條崩掉。

2/ 存活的三條都很乾淨。跨層 token 表示聚類,在每個測試模型、每個真實 prompt 上皆成立;這些聚類以 metastable 平台的形式跨多層持續、再重組;快速形成與緩慢合併的雙時間尺度,在超過深度門檻後確實分離。結構預測,準。

3/ 第一條崩:理論要求交互能量單調遞增,但在每個模型、每個 prompt、每種溫度下都出現下降。聚類是真實的,但背後不是理論描述的純吸引梯度流。這是普遍性的反例,不是邊緣案例。

4/ 第二條崩在機制層。崩塌速度不由模型維度或深度決定,而是由 value matrix 的譜半徑主導,維度較高的模型反而崩塌較慢,與 Theorem 6.1 的預測完全相反。V 矩陣才是關鍵,不是架構規模。

5/ 收束:聚類是真的,但驅動它的機制不是理論說的純吸引梯度流。理論抓到了現象的形狀,卻猜錯了引擎。

→

繼續閱讀

查看全部 →
NewsAI 快訊

LegalOn 如何砍 65% Codex 成本?按任務路由 Astra/Sol/Luna 的做法

LegalOn 把 Codex 的 Astra、Sol、Luna 按任務分工,日費估算砍 65%、速度持平

DeltaMedia 編輯部2 分鐘
NewsAI 快訊

用 AI agent 自己蒸餾小模型:16 美元做一個 0.8B 模型的完整做法

2026 年 10 月 8 日,Hugging Face 部落格記錄一位開發者透過 ML Intern 將 Qwen-Image 2.1 的 9B 提示詞改寫器蒸餾成 0.8B 版本,從下達需求到取得可部署模型只花了一天。

DeltaMedia 編輯部5 分鐘
NewsAI 快訊

AI 推理成本為何史上下降最快?Epoch 數據與 20 億 AI agent 的算力帳

截至 2027 年出貨的 AI 晶片,理論上可同時支撐 3000 萬至 1.7 億個前沿模型智慧代理不間斷執行,換算全職工時約等同於 1.4 億至 7.2 億名全職員工

DeltaMedia 編輯部6 分鐘
NewsAI 快訊

AI 算力狂飆可養活 20 億個 agent,但市場真有這麼大需求?

Epoch AI 研究顯示,截至 2027 年出貨的 AI 晶片可支援 3000 萬至 1.7 億個前沿模型 agent,若改用低成本模型則可達近 20 億個,但需求是否存在仍是開放問題。

DeltaMedia 編輯部7 分鐘