Matrix-Game 3.5 是什麼？昆侖萬維世界模型的狀態-動作聯合生成

重點摘要

• 2026 年 6 月 13 日，昆侖萬維 Skywork 首席科學家劉揚在北京智源大會首次公開 Matrix-Game 3.5 技術細節，計畫同年 7 月正式發布並附帶完整技術報告。
• 劉揚在演講中指出，把下一幀狀態生成與動作生成放進同一訓練目標後，模型在狀態理解與狀態預測兩方面均獲顯著提升。
• Matrix-Game 3.0（2026 年 3 月）以 5B 參數蒸餾模型實現 720P@40FPS；3.5 首次從游戲場景全面擴展至真實場景，並新增 NPC 互動能力。

2026 年 6 月 13 日，北京第 8 屆智源大會的世界模型分論壇上，昆侖萬維旗下 Skywork 首席科學家劉揚以《Matrix-Game：長時序記憶下的即時串流互動式世界模型》為題發表演講，首次系統性公開 Matrix-Game 3.5 的核心技術突破，並宣布計畫 2026 年 7 月正式發布、同步釋出完整技術報告。本屆大會吸引兩位圖靈獎得主、八位院士及超過 40 位 AI 企業 CEO 與會，世界模型成為討論最集中的單一議題，具身智能、機器人控制、游戲引擎等方向的研究者各自提出技術路線，分歧程度遠超表面共識。

主流世界模型技術路線長什麼樣？

劉揚在演講中梳理了當前業界逐漸收斂的技術堆疊：先用大規模雙向 DiT（Diffusion Transformer，擴散變換器）做預訓練，再透過 Self-Forcing 或 Causal Forcing（把雙向模型壓縮成可從左到右自回歸推理的蒸餾技術）將模型蒸餾成因果推論架構，搭配 KV Cache 實現串流推理，最終落在每秒 25 幀的即時互動水準；長時程一致性問題則另外以記憶注入機制解決。

Matrix-Game 在這條路線上的里程碑可以快速拉一遍。2025 年 3 月的 1.0 版本是當時最早公開的可互動世界模型之一。2025 年 8 月的 2.0 版本是這套技術堆疊中最早開源的實作之一，單張 B100 顯示卡跑出 720P@25FPS，把「能做」推到「能部署」。開源帶出了外部效應：DiT 架構作者、紐約大學助理教授謝賽寧的研究團隊基於 2.0 開源底座，發布了 Solaris，Skywork 介紹稱這是首個多人影片世界模型。2026 年 3 月的 3.0 版本進一步把推理速度推到 720P@40FPS，5B 參數蒸餾模型在長時程、記憶和即時性三個公認短板上給出了系統性解法。

不過，這條技術路線有個隱而未發的假設：世界模型的核心任務是預測觀察，也就是下一幀畫面；動作生成是另一個獨立的下游問題。3.5 版本要質疑的，正是這個預設。

為什麼要把狀態預測和動作生成放進同一個訓練目標？

劉揚對世界模型的定義分三層：理解當前狀態（含物理屬性，如牆壁能否穿越、水的溫度，而不只是視覺訊號）、預測下一個狀態、再將預測結果渲染輸出。前兩層和業界共識差距不大。真正的分叉在這裡：他主張動作生成應與狀態預測聯合訓練，而非分治處理。

Matrix-Game 的實際訓練提供了這個主張的實證基礎。他指出，把兩者放進同一訓練目標後，模型的狀態理解和狀態預測都有顯著提升，而不只是多了一個輸出頭。他進一步概括：「世界模型不應只是一個仿真器，而應是一個聯合訓練的統一模型，對狀態與動作同時理解、同時生成，根據應用場景自由組合。」

這個框架在應用層面的意涵是：同一個模型可以依場景側重輸出狀態（用於互動模擬器）或輸出動作（用於機器人控制），而不是維護兩套分離的模型。進一步推論，如果聯合訓練框架持續在不同場景驗證有效，具身 AI 和機器人控制的基礎模型開發成本理論上可以收斂，因為感知和控制不再需要從訓練期就分開走兩條路。但這個結論在 3.5 版本的技術報告出爐前，只能算是方向性推測。

游戲資料引擎的邏輯：為什麼不直接用真實影片？

Skywork 從起步就選擇游戲作為主要訓練場域，背後的邏輯是資料結構的同構性。劉揚的解釋是：游戲的運作方式，給定視覺輸入和當前狀態、接受玩家動作指令、輸出下一幀，和世界模型的核心任務在結構上高度吻合。

問題不在場景多樣性，而在標注。真實世界影片幾乎無法同步記錄對應的動作標注，也難以在可控條件下重複採樣取得因果配對資料。游戲引擎能精確輸出 Video + Pose + Action + Language 四元組，這正是聯合訓練所需要的完整配對格式。

然而，游戲場景的多樣性終究有限。Skywork 為此建立了三條自動化資料生產管線，目標是低成本持續生成帶物理因果關係的大規模訓練資料，省去高昂的人工採集成本。Matrix-Game 3.5 的核心變化之一，是從游戲場景跨入真實場景，支援多風格動態切換和指令控制，並引入 NPC（非玩家角色）互動能力。自動化管線能不能在真實場景複製游戲資料的標注精準度，要等 7 月技術報告發布後才能看清楚。

這對工程師和產品開發者的具體影響是什麼？

從部署成本來看，5B 參數在 720P@40FPS 的推理規格已在工業可用範圍，不需要特殊的基礎設施。聯合訓練框架若在 3.5 版本繼續站穩，機器人控制和仿真器開發者看起來有機會收斂到單一模型棧，不需要分別管理感知和控制兩條路線。

開源策略是另一個值得追蹤的訊號。Matrix-Game 2.0 和 3.0 都選擇開源，謝賽寧團隊的 Solaris 說明底座有外部可用性。如果 3.5 版本在 7 月同步開源，正在評估世界模型能否作為具身 AI 底層基礎設施的工程師，現在切入的成本相對低。

世界模型路線之爭的核心分歧，在於在哪個訓練層面把感知和控制耦合，影片品質的競爭反而退居其次。Skywork 押注的是從訓練期就要綁定，而不是推理期再做橋接。這個主張對不對，7 月的技術報告是第一個能給出可驗證數字的場合。