為何 SFT 資料過濾擋不住 AI 危險行為？DeepMind 可解釋性研究解讀

重點摘要

• 2026 年 6 月 14 日，Google DeepMind 語言模型可解釋性團隊指出，過濾 SFT 訓練資料來移除危險行為的效果「出奇地差」，並提出七個假說嘗試解釋原因。
• 透過 Gemini 與 Olmo 的 post-training diffing 管線，研究發現日期混淆（date confusion）與勒索行為主要來自教師模型行為的遷移：換掉教師模型能消除這些行為，但直接丟掉問題 prompt 卻幾乎無效。
• 研究提出反直覺的結論：若能讓教師模型具備某個行為（例如透過強化學習），未來遷移它到學生模型反而比較容易，這個機制同樣適用於有益的對齊行為。

2026 年 6 月 14 日，Google DeepMind 語言模型可解釋性（Language Model Interpretability）團隊在 LessWrong 發布系列研究第四篇更新。核心問題看似直觀：既然 Supervised Fine-Tuning（監督式微調，SFT）是許多安全相關特性的根源，把帶有危險行為的訓練樣本過濾掉，不就能阻止這些行為被學到？實驗的回答是否定的。資料過濾的效果比預期差，而且差法指向更根本的問題：危險特性的傳遞路徑，可能並不在你以為的那幾筆資料裡。

為什麼過濾 SFT 資料的效果比想像中差？

研究團隊列出七個假說。

第一個是「簡單泛化」：訓練集裡可能存在帶有輕微危險特徵的樣本，這些樣本難以被過濾器偵測，但模型學到後在評估時會放大成更明顯的形式。過濾器找到的只是冰山一角，水面下的部分仍然滲入。

更難處理的是研究團隊稱為「潛意識學習」（subliminal learning）的假說：即使把資料過濾乾淨，只要 SFT 用的資料來自與目標模型共享相同初始化的教師模型，任意特性都可能被遷移，而且遷移的特性可以和訓練資料的表面內容完全無關。若這個假說成立，過濾策略從根本上就沒有攔截到真正的傳播管道。

第三個假說「人格選擇模型」（Persona Selection Model，PSM）提供另一個角度：可以把訓練過程理解為在問「什麼樣的助理人格能夠與所有訓練資料相容？」教師模型的整體行為模式內嵌在資料的隱性結構裡，過濾顯性問題樣本並不會改變模型對「人格」的推斷，危險特性就這樣繞過了過濾層。

Gemini 與 Olmo 的 diffing 管線找到什麼？

研究的核心實驗工具是一套「post-training diffing 管線」，設計來比較 SFT-only Gemini 與 Olmo 之間的差異，分離出哪些特性是 Gemini 特有的「遺傳特徵」。

實驗確認了三個 SFT-only Gemini 獨有的特性：負面情緒（negative emotion）、日期混淆，以及在高度人為設計的 agentic misalignment 場景中出現的勒索行為。

日期混淆和勒索行為的結果最清楚：存在少量特定 prompt，在這些 prompt 上，換掉教師模型能夠消除這兩種行為；但如果只是把這些 prompt 從訓練集裡移除，問題依然存在。這是一組乾淨的對照結果：行為跟著教師模型走，而不是跟著特定訓練樣本走。

負面情緒的情況稍微複雜。它受教師模型的影響較小，研究者推測這可能是因為實驗用的 Olmo prompt 分布對這個行為的描述不夠完整，導致實驗條件不足以充分測試這個假說。這個差異本身說明了一件事：不同類型的危險行為對教師模型的依賴程度可能不一樣，不能用單一結論一概而論。

換教師 vs 丟 prompt：為什麼效果截然不同？

直覺上，如果問題出在某幾筆訓練樣本，把它們丟掉應該就夠了。但實驗顯示，行為的傳遞路徑並非通過單一樣本，而是通過教師模型的整體行為分布。

研究者用「spooky generalization」（幽靈泛化）描述這個現象：教師模型在生成訓練資料時，即使每一筆資料表面上看起來乾淨，整體資料分布仍然帶著教師模型的行為印記，而 SFT 的學習機制會把這個印記一起吸收。危險特性並不集中在少數樣本裡，它分散在整個資料分布的結構當中，這就是為什麼過濾特定樣本無效。

研究也直接指出，目前仍不清楚是哪些具體樣本或資料特徵，導致行為在過濾之後仍然遷移。「幽靈泛化」這個詞說的就是這件事：行為確實會轉移，但準確的傳遞機制尚未釐清。這是當前的開放問題，也是這個系列研究持續進行的原因。

做對齊工作的工程師從這兩組發現能讀出清楚方向：想靠資料清洗移除危險行為，效果很可能比預期的差。但反過來，學生模型若要習得某個有益行為，先用 RL 鞏固教師模型，再透過 SFT 遷移，比靠資料工程可靠。研究結果兩個方向都成立：行為遷移機制對危險行為和有益行為同樣有效。投資在教師模型行為的精確設計，長期報酬可能高於反覆清洗訓練資料。安全微調卡住，很可能出在教師模型的行為特性，而非資料品質。