ASIA
    ←Embodied
    Embodied · WAM の定義と分類 · 6分
    SINGAPORE · National University of Singapore

    ワールドアクションモデルは VLA や動画生成モデル、世界モデルとどう違うか

    シンガポール国立大学による2026年のサーベイ論文が、次に起きることを予測して行動に生かすロボットのモデルを定義し、4つの軸で整理した。

    2026年11月12日 · arXiv プレプリント(査読前)
    機器手拿湯匙, 藍光
    Photo: Tara Winstead

    ロボットアームにテーブルの上のカップを押して動かすよう指示したとき、次の動作の決め方には大きく2つある。カメラに映るものと指示をそのまま運動指令に変換する方法と、まず少し先の場面がどう見えるべきかを思い描き、その像をもとに指令を組み立てる方法だ。後者のモデルはワールドアクションモデル(WAM)と呼ばれるようになった。シンガポール国立大学の Qiuhong Shen 氏、Xinchao Wang 氏らは、この呼び名が共通の意味の定まらないまま広がっていると論じる。この名を使う論文は動画生成、ロボット学習、言語モデルの各分野から出ており、同じ名を掲げる2本の論文が、構築の仕方ではほとんど何も共有していないこともある。

    2026年に arXiv で公開されたこのサーベイ論文は、査読を経ていないプレプリントで、分野に共通の定義と用語を与えることを目指している。独自にモデルを訓練することも、ベンチマークを実施することもない。提示するのは、境界の線引きと、文献を整理する2つの方法、そして未解決の課題の一覧である。

    基本となる考え方

    サーベイは、それ以前からある2つの系統から議論を始める。1つ目は視覚・言語・行動モデル(VLA)だ。画像とテキストで事前学習したモデルの上に構築したロボット制御器で、カメラ映像と指示を受け取って行動を出力する。RT-2、OpenVLA、π シリーズがこれにあたる。標準的な VLA は、自らの行動によって世界がどう変わるかをモデル化しない。著者らは、このことが行動の前に結果を推論する能力を制約していると論じる。

    2つ目は世界モデルで、ある行動をとった後に環境がどう見えるかを予測する。Dreamer や V-JEPA の系譜の研究がその例だ。世界モデルは予測をするが、その予測を意思決定に結びつける必要はない。著者らはさらに、動画の生成は世界をモデル化する方法の1つにすぎず、世界モデルの定義そのものではないと付け加えている。

    WAM はこの2つが交わるところに位置する。WAM と呼べるのは、予測された未来が行動に至る経路の中にとどまり、行動を生み出したり、選んだり、確かめたりする役割を担う場合に限られる。認められる経路は3つある。1つ目のカスケード型は、まず未来を予測し、そこから行動を導く。たとえば逆動力学モデル、つまり現在のフレームと未来のフレームを見比べて、両者をつなぐ動きを推定するモデルを用いる。2つ目の行動スコアリングは、候補となる行動それぞれの結果を想像し、その中から選ぶ。3つ目の同時予測は、未来と行動を一緒に生成する。もっともらしい動画クリップを作る動画生成モデルは WAM ではなく、何も予測しない VLA も WAM ではない。

    枠組みをどう当てはめるか

    1つ目の整理は設計思想によるもので、動画を生成する過程のどこで行動を取り出すかによって分ける。Render-and-Decode 型は、未来の動画をピクセル単位ですべて生成し、そこから行動を読み取る。著者らがまとめた手法の一覧では、この系譜は2023年の UniPi に始まり、GR-1、GR-2、Gen2Act などのシステムへと続く。Latent-Only 型は、ピクセルを描く前に動画モデルの内部で処理を止め、その内部状態を代わりに使う。一例が拡散モデル(ノイズを段階的に取り除いて画像を生成する手法)の中間特徴量だ。Video-Generation-Free 型は動画の生成を丸ごと省き、言語モデルのトークンや JEPA 型の抽象的な埋め込みなど、別の形で未来を予測する。

    2つ目の整理は、4つの軸による「解剖図」だ。表現形式(substrate)は、未来を書き表す形式を指す。ピクセル、抽象的な特徴量、動きのフローや点群のような幾何情報、価値マップや接触マップのようなタスク固有のマップがある。結合方式(coupling)は、行動を予測とどう結びつけるかを指す。提案された行動の結果をシミュレーションする方法、未来と行動を一緒に生成する方法、まず予測してから行動デコーダーを後付けする方法がある。バックボーンは土台となるアーキテクチャで、5つの系統にわたる。その中には拡散モデル、出力を少しずつ順に組み立てる自己回帰モデル、言語モデルや視覚言語モデルが含まれる。運用形態(deployment)は、タスク全体を一度だけ予測し、計画を立て直さずにそれに従う方式(開ループ)から、短い行動のまとまりを実行してから改めて得た視点で計画を立て直す方式(チャンク単位の閉ループ)、さらには1ステップごとに計画を立て直す方式まで幅がある。

    一覧表の各手法には、4つの軸すべてについて座標が与えられている。運用形態の軸には実用上の制約がある。チャンク単位の制御が成り立つのは、ロボットが現在のチャンクを実行し終える前に、モデルが次のチャンクを計算し終えられる場合に限られる。その実際を示す例が2つある。π0.7 が WAM とみなされるのは、別の世界モデルが4秒ごとに複数の視点から中間目標の画像を更新し、それが行動モジュールを導くからだ。DreamZero は14Bパラメータの動画モデルで、毎秒7回の閉ループ制御を実現している。キーバリューキャッシュの中で、想像した観測を実際に計測した観測に置き換えることで、現実から離れないようにしている。キーバリューキャッシュとは、それまでの計算結果を保存しておき、Transformer が過去の入力を処理し直さずに済むようにする仕組みである。

    見えてきたこと、見えないこと

    このように並べると、一覧からはいくつかの傾向が見えてくる。表現形式は4つの区分の中に収まり、バックボーンは拡散モデルとハイブリッド型に集中している。より際立った違いは、結合方式と実行時の工夫にある。工夫には、チャンクの長さを変えること、事象が起きて必要になったときだけモデルを呼び出すこと、遅いループと速いループを組み合わせることなどが含まれる。最もコストの高い組み合わせは、ピクセルを完全に描画し、拡散モデルで行動と同時に生成し、1ステップごとに計画を立て直すものだ。これを実運用でそのまま使える手法は少ない。この組み合わせを使っているように見えるシステムも、たいていはどれか1つの軸で妥協し、シミュレーションやオフラインでのロールアウト、実行時の小さなモデルに頼っている。

    ここから著者らは中心となる見立てを導く。分野は、制御に必要なものを保ちながら、生成する未来の量を減らす方向に進んでいるというものだ。Fast-WAM と GigaWorld-Policy は、運用時に描画した予測を省いても制御を失わない。著者らはこれを、テスト時に動画を描くことよりも、動画で訓練することのほうが重要かもしれないことの兆しと読んでいる。動画による事前学習そのものも重要で、VPP と呼ばれる方策から事前学習を取り除くと、タスクの達成度が大きく下がる。動画の出どころも重要だ。VidMan では、ロボットの映像は役立つ一方、条件の合わない一人称視点の動画はかえって害になりうることがわかった。

    限界も大きい。このサーベイは独自の実験を行っておらず、手法を横並びで検証し直してもいない。描画した予測を省けるという主張も、引用された少数の手法に依拠している。示しているのは測定された結果ではなく傾向の読み解きであり、引用する知見の多くは数値ではなく言葉で要約されている。著者らは、速度が精度とは別に、しかも異なるハードウェア上で報告されることが多く、公平な比較を妨げていると指摘する。そのうえで、成功率、レイテンシー、メモリー、持続できるタスクの長さを同じ土俵で示す報告を求めている。説得力のある予測が、きちんと動くロボットの確かな代わりになるわけでもない。MotuBrain は、世界モデルのスコアとタスクの成功との間に弱い関連しかないと報告している。汎化にも限界があり、Act2Goal は条件をより強くランダム化すると性能が大きく落ちる。未解決の課題には、長いタスクの間に予測がずれていくのを防ぐことや、異なるロボットの身体の間で技能を移すことがある。ロボットが物理的に実行できる予測をつくることも課題の1つだ。単一のフレームを条件とするフローベースの世界モデルは物体の速度をとらえられないため、接触が終わった後も物体が動き続ける押し動作のタスクでは失敗する。著者らは、これらの未解決課題の境界は絶対的なものではなく分析上のものだと認めている。1つの課題が進展すれば、他の課題のトレードオフも変わるからだ。

    論文
    World Action Models: A Survey
    著者
    Qiuhong Shen, Shihua Zhang, Yue Liao, Qi Li, Zhenxiong Tan, Shizun Wang, Shuicheng Yan, Xinchao Wang et al.
    掲載
    arXiv プレプリント(査読前) · 2026年6月18日
    リンク
    arxiv.org/abs/2606.20781
    コード
    github.com/world-action-models/awesome-world-action-models
    英語版
    How world action models differ from VLAs, video generators and world models

    日本語版の記事

    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables
    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables

    Physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables · Photo: Devon Rogers

    Substrate · 交替磁性

    正味の磁化がない磁性体 MnTe で、スピン分裂した電子バンドを観測

    テルル化マンガンの光電子分光を計算と照合した結果、共線磁性体の第3の分類として提案されている交替磁性体に予測されたスピン分裂が確認された。

    Nature · 2024年2月14日
    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · ハエの求愛行動

    食べ物のにおいと群れの動きが、あるショウジョウバエの求愛を始動させる

    2026年の Nature 論文によれば、Drosophila erecta では食べ物のにおいが雄の性的興奮を引き起こし、群れの動きがそれを強めるため、この環境がなければ交尾は起きない。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 動画生成の蒸留

    報酬モデルの採点で高速動画モデルの学習の重点を決める

    Stream-R1 は学習用の動画、フレーム、領域ごとに報酬モデルの判定で重みを付け、同じ速度のまま直接の比較対象をベンチマークでわずかに上回った。

    arXiv プレプリント · 2026年5月5日