ASIA
    ←Embodied
    Embodied · 映像世界モデル · 4分
    DAEJEON · KAIST

    コンパクトな3D記憶で、映像世界モデルはカメラが戻っても一貫性を保つ

    KAIST AI のプレプリントは、生成した場面を映像モデル自身の特徴をもつ数万個の3Dの粒として保存し、メモリと描画のコストを抑えた。

    2026年11月7日 · arXiv プレプリント(査読前)
    Photo: Eli Alvarez

    対話型の世界モデルとは、ユーザーが仮想カメラを操作すると、そのカメラに映るはずの光景を示す映像生成器である。中心的な課題は記憶だ。長く移動した後に戻ってきたカメラは、離れたときと同じ場面を目にするべきであり、この試験はループクロージャーと呼ばれる。KAIST AI が2026年に公開した、査読を経ていないプレプリントは、L3G-World という手法を報告している。1枚の画像から探索可能な世界を構築し、生成器が直接読み取れるコンパクトな3D記憶によって、その世界の一貫性を保つ。

    著者らは、従来のシステムは2つの道筋のどちらかをとると論じる。一つは、増え続ける過去のフレームの履歴を生成器に与える方法だ。もう一つは、点やガウシアンからなる明示的な3D記憶を保持する方法である。ガウシアンとは、位置、形、色、不透明度をもつ小さなぼんやりとした3Dの塊で、どの視点からでも高速に描画(レンダリング)できる。こうした記憶のうち高速な方式は、同じ領域の冗長な複製を積み重ね、保存した内容を更新しないため、誤った形状が残り続けることがある。また、これらの明示的な記憶は、場面を生成器に渡す手順が遅い。通常の画像をレンダリングし、それを VAE で符号化し直すからだ。VAE は、映像拡散モデルが処理するコンパクトな潜在表現へとフレームを圧縮する自己符号化器である。著者らは、この工程があるためにリアルタイム動作ができなくなるとしている。

    L3G-World は、記憶の更新器と映像生成器を交互に動かす。フレームのまとまり(ウィンドウ)ごとに、更新器は記憶をそのウィンドウのカメラ視点へレンダリングする。記憶が透明すぎる画素や、色を誤っている画素が「スポーンマスク」になる。ガウシアンはそこにだけ追加され、Depth Anything 3 モデルの形状特徴をもとに初期化される。すでに視野内にあるガウシアンには、予測された補正が加えられる。各ガウシアンは VAE の潜在表現も保持しているため、記憶をレンダリングすると、生成器自身の作業空間での入力がそのまま得られる。生成器の出力は、符号化し直すことなく記憶へ戻される。生成器は拡散トランスフォーマー、すなわちノイズを段階的に映像へと変えるトランスフォーマーである。Cosmos-Predict2.5 を基盤とし、LoRA で微調整した。LoRA は、小さな追加の重みだけを学習させる低コストの手法だ。「Fast」版は蒸留したもので、生徒モデルが少ないノイズ除去ステップで完全版を模倣するよう学習させてある。

    生成器は DL3DV と RealEstate10K という2つの場面データセットで、記憶の更新器は DL3DV だけで学習した。評価にも同じ2つのデータセットを使った。テストでは、最初の視点から離れていき、その後同じ経路をたどって戻る481フレームのカメラ経路を用いた。比較対象は、Yume 1.5、Matrix-Game 3.0、GEN3C、Lyra 2.0、ガウシアン記憶を使う NeoVerse を含む8つのシステムである。明示的な記憶を使う手法にはすべて同じ Depth Anything 3 の深度推定を与え、いずれも1基の A100 GPU で時間を計測した。著者らの報告によれば、DL3DV では、記憶を構成するプリミティブの数は Lyra 2.0 の1,273K個に対して33K個、メモリ量は最も軽いベースラインである SPMem の38.16MiB に対して11.88MiB だった。記憶を生成器の潜在空間へレンダリングする速度は毎秒1,086.58フレームで、NeoVerse は毎秒3.11フレームだった。ループクロージャーでは、画素単位の類似度の指標である PSNR が16.00となり、最良のベースラインである Spatia の13.96を上回った。潜在表現を使う工夫だけを切り出したアブレーション実験では、直接レンダリングが毎秒943.6フレーム、レンダリングしてから符号化し直す方式が毎秒2.97フレームだった。

    優位は一様ではない。MEt3R は生成されたフレームが3Dとしてどれだけ一貫しているかを測る指標で、低いほどよい。L3G-World はこの指標で、どちらのデータセットでも最良ではなかった。DL3DV では Yume 1.5 の0.050に対して0.078だったが、論文の本文が及ばないと認めているのは RealEstate10K についてだけである。RealEstate10K では、指定されたカメラ経路への追従も Lyra 2.0 と GEN3C の方が正確だ。論文がリアルタイムの根拠とする毎秒9.02フレームという数字は、Fast 版を H100 で動かした結果であり、比較に使った A100 によるものではない。この Fast 版は品質も一部犠牲にしている。FID は生成画像が実画像からどれだけ離れているかを測る指標で、RealEstate10K では Fast 版が49.94、完全版が36.09となり、Fast 版は3つのベースラインに後れを取った。設定には他にも穴がある。テストは学習と同じ領域の静止した場面で行われ、操作はカメラの移動だけだ。論文タイトルにある「infinite(無限)」は481フレームの実行に基づいており、記憶は探索した範囲に応じて増え続ける。実行ごとのばらつきも報告されていない。

    braintankAI は、Tencent の Hy-Nomas を取り上げた。カメラが動く間、すでに画面に現れたものを把握し続ける必要がある点で、同じ課題を抱える映像世界モデルだ(関連記事)。KAIST AI の別のプレプリントは、参照写真から再構成した幾何情報のマップで映像生成を誘導し、カメラが被写体の周りを回っても被写体の一貫性を保った(関連記事)。L3G-World も同じ賭けに出ている。明示的な3D構造が、映像生成器の一貫性維持に役立つという賭けだ。

    論文
    L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory
    著者
    Jinhyeok Choi, JoungBin Lee, Jongmin Lee, Minkyeong Jeon, Jiyoung Kim, Kaeun Han et al.
    掲載
    arXiv プレプリント(査読前) · 2026年10月29日
    リンク
    arxiv.org/abs/2610.40614
    コード
    github.com/cvlab-kaist/L3G-World
    英語版
    Compact 3D memory helps a video world model stay consistent when the camera returns

    日本語版の記事

    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables
    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables

    Physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables · Photo: Devon Rogers

    Substrate · 交替磁性

    正味の磁化がない磁性体 MnTe で、スピン分裂した電子バンドを観測

    テルル化マンガンの光電子分光を計算と照合した結果、共線磁性体の第3の分類として提案されている交替磁性体に予測されたスピン分裂が確認された。

    Nature · 2024年2月14日
    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · ハエの求愛行動

    食べ物のにおいと群れの動きが、あるショウジョウバエの求愛を始動させる

    2026年の Nature 論文によれば、Drosophila erecta では食べ物のにおいが雄の性的興奮を引き起こし、群れの動きがそれを強めるため、この環境がなければ交尾は起きない。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 動画生成の蒸留

    報酬モデルの採点で高速動画モデルの学習の重点を決める

    Stream-R1 は学習用の動画、フレーム、領域ごとに報酬モデルの判定で重みを付け、同じ速度のまま直接の比較対象をベンチマークでわずかに上回った。

    arXiv プレプリント · 2026年5月5日