ASIA
    ←Embodied
    Embodied · 対話型世界モデル · 6分
    HONG KONG · Hong Kong University of Science and Technology

    動画生成モデルをカメラで操れる世界モデルに変える手順を公開

    研究者らが、動画モデルにカメラの動きへの追従とチャンクごとの生成を学ばせる工程を全段階公開し、最初のフレームまでの待ち時間を数分から数秒に縮めた。

    2026年11月14日 · arXiv プレプリント(査読前)
    Photo: Mitch Nielsen

    動画生成モデルは、森の中を歩く説得力のある映像を作ることができる。しかし、その道を実際に歩ける人はいない。プロンプトを入力して待つと、完成した映像が返ってくるだけだ。探索できる場所のように振る舞うには、モデルは見ている間にフレームを生成し、カメラの向きを変えればそれに応じる必要がある。しかも、遅延で没入感が途切れない速さでこなさなければならない。研究者はこうしたシステムを対話型世界モデルと呼ぶ。対話型世界モデルと通常の動画生成モデルとの隔たりを扱うのが、2026年に arXiv で公開された minWM である。査読を経ていないプレプリントだ。

    著者の Min Zhao、Jun Zhu の両氏ほか14人は、独自のアルゴリズムを打ち出しているわけではない。動画モデルを操作可能でリアルタイムに動くモデルへ変える技術はすでに存在するが、別々のパイプラインに散らばっている、というのが彼らの主張だ。著者らは、学習データから実際に動く対話型モデルまでの全行程をカバーする、統一された再現可能なフレームワークがないと論じている。minWM は、それをオープンな形で提供しようとする試みである。

    考え方

    高品質な動画生成モデルの多くは拡散モデルだ。ランダムなノイズから出発し、多くのステップをかけてノイズを取り除き、映像を浮かび上がらせる。著者らが出発点とするモデルは双方向型でもある。つまり全フレームを同時に精緻化し、各フレームが前後のフレームを参照できる。これは品質には有利に働く。しかし映像全体が完成するまで何も出てこず、ユーザーが途中で介入できる瞬間もない。

    対話型世界モデルには別の形が必要だ。まず、因果的、つまり自己回帰的でなければならない。映像をチャンク(まとまり)ごとに生成し、各チャンクはそれ以前の内容だけを条件とする。そうすれば映像全体の完成を待たずに再生を始められ、次のチャンクにユーザーの直前の操作を反映できる。次に、行動に応答しなければならない。ここでいう行動はカメラ軌道、すなわちシーン内を動く仮想カメラの経路と向きである。さらに、出力が現れるまでの遅延であるレイテンシーを低く抑える必要がある。拡散モデルにとってそれは、ごく少ないノイズ除去ステップで済ませることを意味する。

    それぞれの要件を満たす手法は存在する。中心となるのは自己回帰型拡散蒸留で、チャンクごとに高速に生成する生徒モデルに、低速だが強力な教師モデルをまねるよう学習させる。著者らは、これらの手法が別々のパイプラインに散在していると説明する。その結果、対話型世界モデルの構築には、データから推論まであらゆる段階でなお多大な労力がかかるという。

    論文が示すパイプライン

    パイプラインは2つの段階からなる。第1段階では、カメラの経路がわかっている動画を使い、元の双方向モデルをカメラの動きに従うようファインチューニングする。カメラ情報は PRoPE を通じて組み込まれる。この手法は、各フレームのカメラパラメータをアテンションに織り込む。アテンションとは、画像の各パッチが他のパッチにどれだけ影響するかを決める仕組みである。パラメータには、焦点距離などのレンズの特性(内部パラメータ)と、カメラの位置と向き(外部パラメータ)の両方が含まれる。このため、異なる2つのフレームのパッチが相互作用するとき、モデルはその間にカメラがどう動いたかを考慮に入れる。

    第2段階では、Causal Forcing と Causal Forcing++ という既存の手順に沿って、このカメラを認識するモデルを3つのステージで高速な自己回帰モデルに変える。ステージ1では、教師強制(teacher forcing)を使い、チャンクごとに動くようモデルを再学習させる。教師強制とは、モデル自身の出力ではなく実際の過去のフレームから各チャンクを予測するよう学ばせる方法だ。ただし、これだけではモデルは遅いままで、露出バイアスも抱えやすい。露出バイアスとは、自分の不完全なフレームを土台にせざるを得なくなったときに誤差が積み重なる問題である。ステージ2では、2つの方法のいずれかで少ステップの生徒モデルを作る。1つは、低速なモデルがノイズから画像へたどる経路に沿って近道を学ぶ方法だ。もう1つの一貫性蒸留は、隣り合うノイズレベルから一致した答えを出すよう学習させるもので、そうした経路を事前に生成・保存する必要がない。ステージ3では分布マッチング蒸留を適用し、生徒の出力を、より強力な双方向型の教師が生み出すものに近づける。このステージを通じて、生徒は実際の使用時と同じく、自らの過去のフレームから動画全体を生成する。すべてのステージのすべてのモデルにカメラの信号が与えられる。

    著者らはパイプライン全体を、アーキテクチャの異なる2つの動画モデルで実行した。1つはテキストから動画を生成する Wan2.1-T2V-1.3B、もう1つはテキストと画像を入力とする HY1.5-TI2V-8B である。出力は480×832ピクセル、77フレームの映像で、4回のノイズ除去ステップで生成される。映像は、圧縮された潜在フレームを4枚ずつ単位として出力される。著者らによると、公開するのは完成したモデル1つではなく、スクリプト、全ステージの中間チェックポイント、ドキュメント、推論コードだ。これにより、他の研究者はパイプラインのどの時点からでも作業を引き継いだり、手を加えたりできる。

    示されたこと、示されていないこと

    唯一数値で測られた結果は、最初のフレームまでの待ち時間である。試験は1基の A800 GPU で行われた。モデルの圧縮フレームとピクセルを相互に変換するオートエンコーダーの処理時間は含めていない。この条件で、元の HY1.5 は最初のフレームを出すのに約771秒かかった。ステージ1を経たチャンクごとの版は約81秒、最終的な4ステップのモデルは約3.4秒で、元のモデルの約224倍の速さだった。Wan2.1 ではそれぞれ約269秒、29秒、1.1秒で、約237倍の高速化となった。著者らは、この差の一部は構造に由来すると指摘している。双方向型のモデルはシーケンス全体を生成し終えるまでどのフレームも表示できないが、自己回帰型のモデルは最初のフレームを真っ先に出力する。この数値が表すのは再生が始まるまでの待ち時間であり、始まってからの速さではない。

    それ以外の結果は、すべて例示画像に頼っている。著者らは、蒸留したモデルがカメラの経路に従い、カメラへの指示の変更にも対応するサンプルを示している。しかし、画質やカメラの追従精度のスコアは報告していない。比較はすべて同じベースモデルの異なる版どうしで行われ、他の世界モデルや蒸留手法とは比べていない。映像は77フレームの長さしかないため、長いセッションを通じて世界の一貫性が保たれるかについては、この研究からはほとんどわからない。対応しているのはカメラ操作と2つのベースモデルだけで、他の操作やモデルへの対応は今後の課題とされている。

    最も実用的な内容はアブレーション、つまり要素を1つずつ変えて調べる実験にある。SpatialVid は、ソフトウェアでカメラ姿勢を推定した実写動画のデータセットだ。これで学習させると、追加のフィルタリングを施しても、どちらのモデルでも安定したカメラ操作は得られなかった。著者らは姿勢のノイズが原因と推測しており、データセットが不向きだという証拠ではなく、自分たちの試みの限界だとしている。うまくいったのは、事実上正確なカメラ経路をもつデータだった。1つは、DL3DV のシーンを 3D で再構成し、指定した軌道に沿って再レンダリングしたものだ。もう1つは別の世界モデル WorldPlay が生成した動画で、オープン版の公開にはこちらが使われた。HY1.5 では、1000〜2000ステップの学習ではカメラ操作が効かず、5000ステップ前後で現れ始め、8000ステップで強く効くようになった。Wan2.1 では、バッチサイズが4未満だとしばしば失敗し、16で十分だった。ステップ数とバッチサイズに関する知見は、それぞれ1つのモデルだけで得られたものだ。これらの結果はいずれも、数値のスコアではなく出力例によって示されている。

    論文
    minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models
    著者
    Min Zhao, Hongzhou Zhu, Bokai Yan, Zihan Zhou, Yimin Chen, Wenqiang Sun, Kaiwen Zheng, Guande He, Xiao Yang, Chongxuan Li, Fan Bao, Jun Zhu et al.
    掲載
    arXiv プレプリント(査読前) · 2026年5月28日
    リンク
    arxiv.org/abs/2605.30263
    コード
    github.com/shengshu-ai/minWM
    英語版
    An open recipe for turning a video generator into a camera-steered world model

    日本語版の記事

    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables
    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables

    Physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables · Photo: Devon Rogers

    Substrate · 交替磁性

    正味の磁化がない磁性体 MnTe で、スピン分裂した電子バンドを観測

    テルル化マンガンの光電子分光を計算と照合した結果、共線磁性体の第3の分類として提案されている交替磁性体に予測されたスピン分裂が確認された。

    Nature · 2024年2月14日
    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · ハエの求愛行動

    食べ物のにおいと群れの動きが、あるショウジョウバエの求愛を始動させる

    2026年の Nature 論文によれば、Drosophila erecta では食べ物のにおいが雄の性的興奮を引き起こし、群れの動きがそれを強めるため、この環境がなければ交尾は起きない。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 動画生成の蒸留

    報酬モデルの採点で高速動画モデルの学習の重点を決める

    Stream-R1 は学習用の動画、フレーム、領域ごとに報酬モデルの判定で重みを付け、同じ速度のまま直接の比較対象をベンチマークでわずかに上回った。

    arXiv プレプリント · 2026年5月5日