世界動作模型與 VLA、影片生成器、世界模型有何不同
新加坡國立大學 2026 年的一篇綜述,為能預測接下來會發生什麼並據此行動的機器人模型下定義,並依四個面向加以分類。

請一隻機械手臂把杯子推過桌面,它要決定下一個動作,大致有兩種做法。一是把攝影機看到的畫面加上指令,直接對應成馬達指令。二是先想像片刻之後場景應該是什麼樣子,再讓這個畫面來決定指令。第二類模型後來被稱為世界動作模型(world action model,WAM)。新加坡國立大學的 Qiuhong Shen、Xinchao Wang 與同事認為,這個名稱已經流傳開來,卻沒有公認的定義。使用這個名稱的論文來自影片生成、機器人學習和語言模型等領域,兩篇論文可能用同一個名稱,在建構方式上卻幾乎沒有共通之處。
他們的綜述在 2026 年發表於 arXiv,是尚未經同儕審查的預印本,目的是為這個領域提供共同的定義和詞彙。這篇綜述沒有訓練任何模型,也沒有自己跑基準測試;它提供的是一條界線、兩種整理文獻的方式,以及一份待解問題的清單。
核心概念
綜述從兩個較早的模型家族談起。第一類是視覺-語言-動作模型(vision-language-action model,VLA)。這是一種建立在以影像和文字預訓練的模型之上的機器人控制器,輸入攝影機畫面和指令,輸出動作。RT-2、OpenVLA 和 π 系列都屬於這一類。標準的 VLA 從不模擬世界會因為自己的動作而如何改變。作者認為,這限制了它在行動前推想後果的能力。
第二類是世界模型,負責預測在某個動作之後環境會變成什麼樣子,例如 Dreamer 和 V-JEPA 系列研究。世界模型會做預測,但沒有任何要求規定它必須把預測轉化成決策。作者補充,生成影片只是模擬世界的一種方式,不是世界模型的定義。
WAM 就位在這兩者的交會處。只有當預測出來的未來一直留在通往動作的路徑上,用來產生、挑選或檢查動作時,才算是 WAM。符合條件的途徑有三種。串接式(cascade)先預測,再推導出動作,例如透過逆動力學模型:它看當前畫面和未來畫面,推斷連接兩者的動作。動作評分(action scoring)是想像各個候選動作的結果,再從中挑選。聯合預測(joint prediction)則同時生成未來和動作。能產生逼真短片的影片生成器不是 WAM,什麼都不預測的 VLA 也不是。
怎麼把定義用在文獻上
第一種分類方式依「理念」區分,看動作是在影片生成過程的哪個階段取出。Render-and-Decode(先算繪再解碼)方法會產生完整的像素級未來影片,再從中讀出動作。根據作者整理的文獻盤點,這條路線始於 2023 年的 UniPi,延續到 GR-1、GR-2 和 Gen2Act 等系統。Latent-Only(只用潛在表示)方法在影片模型畫出任何像素之前就停下,改用模型的內部狀態,例如擴散模型產生的中間特徵;擴散是一種逐步去除雜訊來生成影像的技術。Video-Generation-Free(不生成影片)方法則完全跳過影片生成,改用其他形式來預測,例如語言模型的 token,或 JEPA 類的抽象嵌入。
第二種分類方式是一套有四個面向的「解剖」。載體(substrate)是寫下未來所用的格式:像素、抽象特徵、運動流或點雲這類幾何資訊,或是價值圖、接觸圖這類針對任務的圖。耦合(coupling)是動作與預測之間的連接方式:模型可以模擬提議動作的結果、同時生成兩者,或是先預測、事後再接上動作解碼器。骨幹(backbone)是底層架構,涵蓋五個家族,其中包括擴散模型、逐段建構輸出的自迴歸模型,以及語言模型和視覺語言模型。部署(deployment)的範圍從一次預測整個任務、執行時不再重新規劃(開迴路),到執行一小段動作後依新畫面重新規劃(分段閉迴路),或每一步都重新規劃。
盤點表中的每個方法,在四個面向上都有一個座標。部署面向帶有一個實際限制:分段控制只有在機器人做完目前這段動作之前,模型就已算出下一段,才行得通。有兩個例子可以說明實際情況。π0.7 之所以算是 WAM,是因為有一個獨立的世界模型每 4 秒更新一次來自多個視角的中間目標影像,用來引導它的動作模組。DreamZero 是一個 14B 參數的影片模型,能以每秒 7 次的頻率做閉迴路控制。它把鍵值快取(key-value cache,存放先前運算結果、讓 Transformer 不必重新處理舊輸入的暫存)中想像出來的觀測,換成實際量測到的觀測,藉此與現實保持連結。
能看出什麼,看不出什麼
照這種方式攤開來,盤點表呈現出一些規律。載體都落在四個類別之內,骨幹則集中在擴散模型和混合架構。比較明顯的差異在於耦合方式和執行階段的技巧,包括調整動作區塊的長度、只在事件需要時才呼叫模型,以及搭配慢速和快速兩種迴圈。成本最高的組合是算繪完整像素、用擴散模型同時生成像素和動作,並在每一步都重新規劃。很少有方法能在實際應用中直接採用這種組合;看起來採用它的系統,通常會在某個面向上讓步,改用模擬、離線推演,或在執行時改用較小的模型。
作者由此得出核心觀察:這個領域正朝著「少生成一些未來,但保留控制所需的部分」發展。Fast-WAM 和 GigaWorld-Policy 在部署時捨棄算繪出來的預測,卻沒有失去控制能力。作者把這解讀為一個跡象:用影片訓練,可能比在測試時把影片畫出來更重要。影片預訓練本身也很重要:從一個名為 VPP 的策略模型中拿掉影片預訓練,任務完成度會大幅下降。影片的來源同樣有影響:VidMan 發現機器人影片有幫助,而不相符的第一人稱影片則可能有害。
這篇綜述的限制相當多。它沒有做新的實驗,也沒有把各方法放在一起重新測試;它主張可以捨棄算繪預測,依據的只是少數幾個引用的方法。它提供的是對趨勢的一種解讀,而不是量測結果,而且它引用的發現大多以文字描述,而非數字。作者指出,速度常常和準確度分開報告,使用的硬體也不同,因此無法公平比較。他們呼籲在報告中把成功率、延遲、記憶體用量和能持續完成的任務長度放在同一個基準上。看起來可信的預測,也不能可靠地代表機器人真的能完成工作:MotuBrain 報告指出,世界模型的分數和任務成功之間只有微弱的關聯。泛化能力仍然有限,Act2Goal 在條件更大幅度隨機化時表現急劇下滑。待解問題包括在長時間任務中避免預測逐漸偏移,以及在不同機器人身體之間轉移技能。另一個問題是產生機器人在物理上真的能執行的預測。只以單一畫面為條件、以流(flow)為基礎的世界模型無法掌握物體的速度,因此當物體在接觸結束後還繼續移動時,推動任務就會失敗。作者也承認,這些待解問題之間的界線是分析上的區分,而非絕對,因為某一項的進展會改變其他幾項的取捨。
- 論文
- World Action Models: A Survey
- 作者
- Qiuhong Shen, Shihua Zhang, Yue Liao, Qi Li, Zhenxiong Tan, Shizun Wang, Shuicheng Yan, Xinchao Wang et al.
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年6月18日
- 連結
- arxiv.org/abs/2606.20781
- 程式碼
- github.com/world-action-models/awesome-world-action-models
- 英文版
- How world action models differ from VLAs, video generators and world models


