OpenRouter provider 為何要 pin？不鎖定會讓 AI 研究結果失效

重點摘要

• 2026 年 7 月 23 日，LessWrong 一篇研究披露，32 個具影響力的 AI 安全研究程式庫中，31 個（97%）未以安全方式使用 OpenRouter，未鎖定特定服務商
• 一篇通過同儕審查並被 NeurIPS 2025 收錄的論文，其核心結論因 OpenRouter 服務商差異問題被 nostalgebraist 在 2026 年 4 月推翻，作者 Arun Jose 已承認結果受汙染
• 即使同為 fp8 量化，不同服務商服務的模型能力與 CoT（Chain of Thought，思維鏈）可讀性差異極大，服務商未鎖定等同把路由隨機性混入實驗變數

2026 年 7 月 23 日，LessWrong 一篇報告點出了一個在 AI 研究社群中被長期低估的盲點：透過 OpenRouter 跑模型評測，卻沒有鎖定服務商，可能讓整份研究的結論從頭就站不住腳。報告作者在 Pivotal AI Safety Research Fellowship 期間審查了 32 個具影響力的 AI 安全研究程式庫，發現 31 個（97%）都沒有採取足夠的服務商鎖定措施，而這個缺陷的後果，已經在至少一篇 NeurIPS 論文上留下具體傷痕。

當 97% 的 AI 安全研究程式庫都忽略了 OpenRouter 的服務商鎖定，我們引以為傲的模型評測，本質上可能只是一場隨機路由的抽籤遊戲。

OpenRouter 的路由機制為什麼讓實驗難以重現？

OpenRouter 是一個推理 API 聚合服務，讓開發者用單一介面呼叫多家服務商的模型。對生產環境來說，這個設計合理：高可用、自動備援、費率有競爭性。但對研究情境來說，它的核心機制是個實驗控制漏洞。

當你透過 OpenRouter 指定一個模型名稱，OpenRouter 不會固定把請求送給同一個服務商，而是依可用性與費率動態路由，每次呼叫 API，背後可能是不同廠商的推理伺服器在回應。這些服務商名義上服務的是同一個模型，但實際上可能載入不同版本的權重、不同的後端推理設定，甚至是微調過的衍生版本。

問題最難察覺的地方在於：API 呼叫成功、輸出看起來正常、費用扣除，整個流程沒有任何錯誤訊息告訴你這次請求落在哪個服務商。研究者通常只驗證模型名稱對不對，不會再深入確認服務商層，因為這個層次過去很少被納入實驗設計的討論框架。

那篇 NeurIPS 論文是怎麼被推翻的？

這不是假設性風險，而是已在文獻中發生的案例。NeurIPS 2025 收錄了 Arun Jose 的論文《Reasoning Models Sometimes Output Illegible Chains of Thought》，研究主張推理模型有時會輸出可讀性差的思維鏈。2026 年 4 月，nostalgebraist 在《R1 CoT illegibility revisited》中重新審視了這些結論。

nostalgebraist 的發現直接：即使兩個服務商都宣稱使用 fp8 量化，服務的模型在能力和 CoT 可讀性上的差距，仍可能天差地別。這正好戳破了 Arun Jose 論文的前提，因為他的實驗設計預設服務商差異可以忽略，但那個「差異」本身就是他觀察到的部分訊號來源。

面對這份複查，Arun Jose 的回應誠實，大意是：nostalgebraist 的論證令他信服，認為自己的結果確實因不良的推理設定受到汙染，論文中部分核心宣稱的實驗支撐並不充分。一篇通過同儕審查、被頂會收錄的論文，在服務商層這個「看不見的變數」上失守，說明這不是個別研究者的粗心，而是整個領域共同缺失的控制點。

為什麼 97% 的研究程式庫都踩了這個坑？

31/ 32 的比例觸目驚心，但更準確的解讀不是「大家都很粗心」，而是：這個變數在過去幾乎從未被納入研究可信度的評估框架。

研究者設計評測時習慣控制的變數包括模型名稱、溫度、提示詞、取樣次數。服務商藏在 API 呼叫背後，不在標準實驗設計的視野裡。OpenRouter 的路由機制又讓問題完全沉默，呼叫成功就沒有警示，請求落到哪個服務商是黑盒。

這個問題還有累積效應，值得特別關注。被審查的這批程式庫是「具影響力」的 AI 安全研究，代表它們的方法論已被後續工作引用、複現，甚至作為基礎再延伸。若源頭的服務商設定存在問題，後來建立在它們上面的研究，理論上也可能繼承了同樣的實驗設計缺陷，只是更難察覺、更難追溯。

做評測的工程師，現在應該改什麼？

LessWrong 報告的建議很直接：把服務商當成需要鎖定與記錄的實驗變數，就像你記錄溫度設定或提示詞版本一樣。呼叫 OpenRouter 時明確指定服務商，在論文與報告中記錄服務商名稱，並在複現他人研究時，主動驗證結果在鎖定服務商後是否仍然一致。報告也指出，若已有使用 OpenRouter 且未鎖定的研究，複現者應測試原始結論在修正這個問題後是否還站得住腳。

報告同時標示了現實限制：目前可選的服務商數量和品質，仍不足以達到理想的科學可信度。這意味著即使做到鎖定服務商，也只是把問題從「不可見」變成「可測量」，而不是消除所有不確定性。社群在建立更嚴格的服務商品質標準之前，這個層次的雜訊不太可能被完全排除。

對任何用第三方推理 API 做評測或複現的人，這個問題值得現在就正視：你的實驗記錄裡，有沒有一欄記錄每次推理呼叫的服務商？如果沒有，那份實驗記錄從設計上就少了一個控制點，你比較的可能不是模型能力的差異，而是路由抽籤的結果。