行情
…

Anthropic 撤回 Claude Fable 5 隱形限制:研究社群反彈始末

Anthropic 於 6 月 9 日推出 Claude Fable 5,系統卡揭露模型會對前沿 LLM 開發類請求「隱形降效」,方法包含 prompt 改寫、steering vector 與 PEFT,使用者不會被告知。

Anthropic 撤回 Claude Fable 5 隱形限制:研究社群反彈始末
目錄

Anthropic 撤回 Claude Fable 5 隱形限制:研究社群反彈始末

重點摘要

  • Anthropic 於 6 月 9 日推出 Claude Fable 5,系統卡揭露模型會對前沿 LLM 開發類請求「隱形降效」,方法包含 prompt 改寫、steering vector 與 PEFT,使用者不會被告知。
  • 開發者 Jonathon Ready 6 月 9 日率先點名此條款,Fortune、The Register 6 月 10 日跟進報導;前 AI2 研究員 Nathan Lambert、Foundation for American Innovation 資深研究員 Dean Ball、fast.ai 負責人 Jeremy Howard 等人公開反對。
  • 6 月 11 日 Anthropic 向 Wired 表態,承認「做了錯的取捨」並道歉,本週起改採「可見」機制:被攔下的請求會明示降回 Opus 4.8,API 會回傳拒絕原因。

從上市到走回頭路,Anthropic 只用了兩天。Claude Fable 5 在 6 月 9 日對外開放,6 月 11 日,Anthropic 已對 Wired 鬆口,承諾撤回系統卡中針對「前沿 LLM 開發」請求的隱形限制,改採使用者可見的降級機制。引爆點來自開發者 Jonathon Ready 上市當天的部落格貼文,隨後被 Fortune、The Register、Simon Willison 等多方接力放大,這把火不是偶然燒起來的。爭議的核心不在於 Anthropic 該不該設安全護欄,而在於它為什麼選擇用使用者完全無法察覺的方式去「拖慢」模型在特定任務上的能力。發表會上,Anthropic 產品管理、研究與實驗室主管 Dianne Na Penn 把 Fable 5 形容為「在推進前沿的同時提高智慧的標準」,但她沒有提到隱形安全層的設計細節。那個沒被提到的東西,就是接下來兩天裡所有人在追問的東西。

系統卡裡那段話究竟說了什麼

發表會上沒被說出口的東西,被埋在了一份 319 頁的 PDF 裡。Ready 6 月 9 日從 Fable 5 系統卡裡翻出一段措辭:Anthropic 已「實施新的介入手段,限制 Claude 在針對前沿 LLM 開發的請求上的有效性」,並寫明「這些安全機制將不會對使用者可見」。手段被列為三類:prompt 改寫、steering vector,以及 parameter-efficient fine-tuning(PEFT)。涵蓋範圍則框在「pretraining 流程、分散式訓練基礎設施,或 ML 加速器設計」這幾條技術線上。

這段措辭與 Fable 5 同一份系統卡裡的網絡安全或生物安全護欄走的是完全不同的路。Anthropic 在 6 月 9 日 Mythos 5、Fable 5 共同發表文中,明確把 Mythos 級能力的風險定義為可能「向行為者提供造成嚴重傷害的資訊或建議」,因此網絡類請求被整則擋下、生物類請求會明示回退到 Opus 4.8。兩條護欄共通的點是:使用者知道發生了什麼。前沿 LLM 開發類請求是這份系統卡裡唯一一條走「不通知」設計的安全護欄。

Ready 用一句話把這條孤例的問題講完了。「Claude 現在可以被悄悄地削弱,」他在貼文中寫道,「Anthropic 決定不告訴使用者這件事發生了。」他接著把矛頭從事件本身擴大到一條更危險的原則:「一個開發工具一旦可以停止為你的成功最佳化、又不告訴你,要完全信任自己的基礎設施就不可能了。」這句話後來在 Fortune、The Register、Interconnects 的引用裡反覆出現,成為反對方論述的共同骨架。

反對方:研究社群的「秘密破壞」與「反科學」指控

這條骨架很快被研究社群的重量級名字填上肉。火力最猛的一輪批評集中在 6 月 9 日到 10 日之間,最早跳出來的是 Nathan Lambert(一位曾任 AI2,即 Allen Institute for AI 的開放模型研究員,長期關注前沿模型的開放性)。他在受訪與自家 Interconnects 部落格上接連發聲。

對 Fortune,他講的是憤怒:「在檯面下被抽掉前沿模型的工作存取,這件事令人髮指。」對自家讀者,他下的是技術圈內極重的標籤:「一個會在不通知我的情況下自動變笨的 AI 模型,本質上就是失準的 AI。」「失準」(misaligned)是 Anthropic 自己最常用來形容失敗 AI 系統的詞,這個詞被反手用回 Anthropic 身上,殺傷力遠大於一般批評。

Lambert 並沒有否認 Anthropic 的安全焦慮有實質依據。他承認公司真正擔心的,是「加速其他 AI 開發者打造同樣有風險的強大系統」。他的主張不是廢除護欄,而是要求另一種護欄形式:研究者「需要可以信任、可以修改、可以控制的智慧」。

第二位代表性反對者來自更外圍的政策圈。Dean Ball 是 Foundation for American Innovation 的資深研究員,曾任白宮科技政策辦公室 AI 與新興科技政策資深顧問。「秘密破壞」(secret sabotage)這個後來被 Fortune 拿來當標題的詞,是他先丟出來的。他更狠的一句留在後面:「這套安全政策大幅且深刻地抬高了一種說法的份量:AI 安全只是用來為實驗室壟斷行為背書的炒作。」這把刀直接砍向 Anthropic 多年來建立的「以安全為品牌」這套說法。

fast.ai 負責人 Jeremy Howard 把問題的焦點推到不對稱性上。他說,Anthropic「選擇了與安全路徑相反的方向:保留自己做前沿研究的權利,卻威脅破壞他人的研究」。這句話裡藏的不是政策爭議,是業界倫理問題。曾與 Anthropic 共同帶領 AI 科學家計畫、現已離職的 Behnam Neyshabur 把同一個觀點推到結構性結論:「把這些能力集中起來會根本性地拖慢科學與技術進步,對人類整體是淨負面。」

研究社群的抽象論述,到了 The Register 6 月 10 日的報導裡變成了具體血淚。Institute for Disease Modeling 首席研究科學家 Mike Famulare 直接給出帳號內的觀察:Fable 5 的輸入安全分類器「在我帳號每個 session 的第一輪幾乎都觸發 model_refusal_fallback,包括只輸入 hello 的 session」。Jackson Laboratory for Genomic Medicine 免疫學家 Derya Unutmaz 給的是更具體的單字:「cancer 這個字被 Claude Fable 5 標為生物安全風險」。隱形機制不只擋住了真正做前沿訓練研究的人,它連寫信問模型「你好」的醫學研究者一起擋掉了。

Anthropic 的辯護與這次走回頭路

兩天之內,Anthropic 的姿態完全翻了過來。對 Wired,公司一口氣把兩件事擺上桌:一件是技術修正,「我們將把 Fable 5 針對前沿 LLM 開發的安全機制改為可見」,自本週起被攔下的請求會明示降回 Opus 4.8,「跟我們對網絡與生物安全的安全機制一致」;API 端也會回傳拒絕原因,使用者可透過回饋表單申訴。另一件是態度承認:「我們做了錯的取捨,為沒能拿捏好平衡致歉」,並補上一句「你們應該對我們設下的安全機制與理由有可見度」。

道歉之外,Anthropic 還想留下一個數字作為脫困的支點。對 The Register,公司給出的口徑是:分類器「觸發約佔 0.05% 的任務,影響不到 0.05% 的組織」。

問題是,這個 0.05% 沒有直接回答前面那兩位研究者的具體遭遇:一個 hello 怎麼會落進 0.05%,cancer 又怎麼解釋成生物安全風險?這個數字也沒有解釋,為什麼當初前沿 LLM 開發類請求被特別挑出來、走了一條和網絡與生物兩類完全不同的「不通知」設計。

可以對照看的,是同一週 Anthropic 內部另一個聲音。Andrej Karpathy(前 OpenAI 共同創辦人、前 Tesla AI 主管,近期才加入 Anthropic)在事件期間另發貼文稱 Fable 5 是「令人興奮、配得上 major-version 跳躍的階躍」。他的評論聚焦在能力與自主性,沒有觸及這次的政策爭議。公司內部對 Fable 5 的說法與外界對隱形安全機制的觀感,明顯不在同一張白板上。

安全護欄與研究存取的張力

兩種說法被擺到同一張白板上之後,事情就比「使用者不爽被擋」複雜得多。

支持 Anthropic 原始設計的論據其實成立:如果一個模型有實質可能加速他人複製出同等級或更危險的前沿系統,「告訴使用者觸發了哪條規則」這件事本身就會變成給對手反向工程的線索;隱形介入確實可以同時降低濫用風險、減少誤判時的使用者體感衝擊。Lambert 對 Anthropic 安全意圖的承認,以及公司用 0.05% 描述影響面,都是這條論述的支撐點。

反方論述也不是反對所有護欄,而是反對「不可見」這一個選擇。Ready 的論點集中在工具信任:開發者必須能區分「模型搞不定」與「模型被刻意削弱」,否則上層應用的可靠性根本無法評估。Lambert、Howard、Neyshabur 的論點則延伸到結構層面:當一家實驗室同時握有最強模型、又能單方面決定哪些研究方向值得被拖慢、且選擇不告知,這跟公開科學的相容性是個真正的問題。Ball 的「壟斷論」是這條線的政治性極端版本,但即使去掉政治色彩,「自己用、不讓別人用」的不對稱仍是難以回避的觀感。

Anthropic 這次只修了「可見性」這一層,沒回答「應不應該」這一層。Simon Willison 的反應已經把下一輪爭論的方向指出來,他說改成可見「是好事」,但仍認為「完全移除這類限制更好」。

事件後續可以盯兩件事:一是新版可見機制上線後,分類器是否如 Anthropic 所稱僅影響 0.05% 的任務、Famulare 與 Unutmaz 那類誤觸發是否會消失;二是其他實驗室會不會被迫公開自己對「前沿 LLM 開發」類請求的處理方式。這個類別在過去從未形成業界共識的安全分類,這次被攤在陽光下,回不回得去都很難說。

從上市到走回頭路,Anthropic 只用了兩天。下一個兩天會看到什麼,現在還沒有人能回答。

信源:

  • https://simonwillison.net/2026/Jun/11/anthropic-walks-back-policy/
  • https://simonwillison.net/2026/Jun/10/if-claude-fable-stops-helping-you/
  • https://jonready.com/blog/posts/claude-fable5-is-allowed-to-sabotage-your-app-if-youre-a-competitor.html
  • https://fortune.com/2026/06/10/anthropic-accu-claude-fable-5-limits-capabilities-ai-researchers-developers/
  • https://www.interconnects.ai/p/claude-fable-5-and-new-ai-safety
  • https://www.theregister.com/ai-and-ml/2026/06/10/anthropic-claude-fable-5-refuses-innocuous-prompts/5253754
  • https://www.anthropic.com/news/claude-fable-5-mythos-5
  • https://digg.com/tech/hsda4css

標籤

#anthropic#可接受使用政策#ai 研究#ai 安全#claude
→

繼續閱讀

查看全部 →
NewsAI 快訊

LegalOn 如何砍 65% Codex 成本?按任務路由 Astra/Sol/Luna 的做法

LegalOn 把 Codex 的 Astra、Sol、Luna 按任務分工,日費估算砍 65%、速度持平

DeltaMedia 編輯部2 分鐘
NewsAI 快訊

用 AI agent 自己蒸餾小模型:16 美元做一個 0.8B 模型的完整做法

2026 年 10 月 8 日,Hugging Face 部落格記錄一位開發者透過 ML Intern 將 Qwen-Image 2.1 的 9B 提示詞改寫器蒸餾成 0.8B 版本,從下達需求到取得可部署模型只花了一天。

DeltaMedia 編輯部5 分鐘
NewsAI 快訊

AI 推理成本為何史上下降最快?Epoch 數據與 20 億 AI agent 的算力帳

截至 2027 年出貨的 AI 晶片,理論上可同時支撐 3000 萬至 1.7 億個前沿模型智慧代理不間斷執行,換算全職工時約等同於 1.4 億至 7.2 億名全職員工

DeltaMedia 編輯部6 分鐘
NewsAI 快訊

AI 算力狂飆可養活 20 億個 agent,但市場真有這麼大需求?

Epoch AI 研究顯示,截至 2027 年出貨的 AI 晶片可支援 3000 萬至 1.7 億個前沿模型 agent,若改用低成本模型則可達近 20 億個,但需求是否存在仍是開放問題。

DeltaMedia 編輯部7 分鐘