コンパクトな3D記憶で、映像世界モデルはカメラが戻っても一貫性を保つ
KAIST AI のプレプリントは、生成した場面を映像モデル自身の特徴をもつ数万個の3Dの粒として保存し、メモリと描画のコストを抑えた。

対話型の世界モデルとは、ユーザーが仮想カメラを操作すると、そのカメラに映るはずの光景を示す映像生成器である。中心的な課題は記憶だ。長く移動した後に戻ってきたカメラは、離れたときと同じ場面を目にするべきであり、この試験はループクロージャーと呼ばれる。KAIST AI が2026年に公開した、査読を経ていないプレプリントは、L3G-World という手法を報告している。1枚の画像から探索可能な世界を構築し、生成器が直接読み取れるコンパクトな3D記憶によって、その世界の一貫性を保つ。
著者らは、従来のシステムは2つの道筋のどちらかをとると論じる。一つは、増え続ける過去のフレームの履歴を生成器に与える方法だ。もう一つは、点やガウシアンからなる明示的な3D記憶を保持する方法である。ガウシアンとは、位置、形、色、不透明度をもつ小さなぼんやりとした3Dの塊で、どの視点からでも高速に描画(レンダリング)できる。こうした記憶のうち高速な方式は、同じ領域の冗長な複製を積み重ね、保存した内容を更新しないため、誤った形状が残り続けることがある。また、これらの明示的な記憶は、場面を生成器に渡す手順が遅い。通常の画像をレンダリングし、それを VAE で符号化し直すからだ。VAE は、映像拡散モデルが処理するコンパクトな潜在表現へとフレームを圧縮する自己符号化器である。著者らは、この工程があるためにリアルタイム動作ができなくなるとしている。
L3G-World は、記憶の更新器と映像生成器を交互に動かす。フレームのまとまり(ウィンドウ)ごとに、更新器は記憶をそのウィンドウのカメラ視点へレンダリングする。記憶が透明すぎる画素や、色を誤っている画素が「スポーンマスク」になる。ガウシアンはそこにだけ追加され、Depth Anything 3 モデルの形状特徴をもとに初期化される。すでに視野内にあるガウシアンには、予測された補正が加えられる。各ガウシアンは VAE の潜在表現も保持しているため、記憶をレンダリングすると、生成器自身の作業空間での入力がそのまま得られる。生成器の出力は、符号化し直すことなく記憶へ戻される。生成器は拡散トランスフォーマー、すなわちノイズを段階的に映像へと変えるトランスフォーマーである。Cosmos-Predict2.5 を基盤とし、LoRA で微調整した。LoRA は、小さな追加の重みだけを学習させる低コストの手法だ。「Fast」版は蒸留したもので、生徒モデルが少ないノイズ除去ステップで完全版を模倣するよう学習させてある。
生成器は DL3DV と RealEstate10K という2つの場面データセットで、記憶の更新器は DL3DV だけで学習した。評価にも同じ2つのデータセットを使った。テストでは、最初の視点から離れていき、その後同じ経路をたどって戻る481フレームのカメラ経路を用いた。比較対象は、Yume 1.5、Matrix-Game 3.0、GEN3C、Lyra 2.0、ガウシアン記憶を使う NeoVerse を含む8つのシステムである。明示的な記憶を使う手法にはすべて同じ Depth Anything 3 の深度推定を与え、いずれも1基の A100 GPU で時間を計測した。著者らの報告によれば、DL3DV では、記憶を構成するプリミティブの数は Lyra 2.0 の1,273K個に対して33K個、メモリ量は最も軽いベースラインである SPMem の38.16MiB に対して11.88MiB だった。記憶を生成器の潜在空間へレンダリングする速度は毎秒1,086.58フレームで、NeoVerse は毎秒3.11フレームだった。ループクロージャーでは、画素単位の類似度の指標である PSNR が16.00となり、最良のベースラインである Spatia の13.96を上回った。潜在表現を使う工夫だけを切り出したアブレーション実験では、直接レンダリングが毎秒943.6フレーム、レンダリングしてから符号化し直す方式が毎秒2.97フレームだった。
優位は一様ではない。MEt3R は生成されたフレームが3Dとしてどれだけ一貫しているかを測る指標で、低いほどよい。L3G-World はこの指標で、どちらのデータセットでも最良ではなかった。DL3DV では Yume 1.5 の0.050に対して0.078だったが、論文の本文が及ばないと認めているのは RealEstate10K についてだけである。RealEstate10K では、指定されたカメラ経路への追従も Lyra 2.0 と GEN3C の方が正確だ。論文がリアルタイムの根拠とする毎秒9.02フレームという数字は、Fast 版を H100 で動かした結果であり、比較に使った A100 によるものではない。この Fast 版は品質も一部犠牲にしている。FID は生成画像が実画像からどれだけ離れているかを測る指標で、RealEstate10K では Fast 版が49.94、完全版が36.09となり、Fast 版は3つのベースラインに後れを取った。設定には他にも穴がある。テストは学習と同じ領域の静止した場面で行われ、操作はカメラの移動だけだ。論文タイトルにある「infinite(無限)」は481フレームの実行に基づいており、記憶は探索した範囲に応じて増え続ける。実行ごとのばらつきも報告されていない。
braintankAI は、Tencent の Hy-Nomas を取り上げた。カメラが動く間、すでに画面に現れたものを把握し続ける必要がある点で、同じ課題を抱える映像世界モデルだ(関連記事)。KAIST AI の別のプレプリントは、参照写真から再構成した幾何情報のマップで映像生成を誘導し、カメラが被写体の周りを回っても被写体の一貫性を保った(関連記事)。L3G-World も同じ賭けに出ている。明示的な3D構造が、映像生成器の一貫性維持に役立つという賭けだ。
- 論文
- L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory
- 著者
- Jinhyeok Choi, JoungBin Lee, Jongmin Lee, Minkyeong Jeon, Jiyoung Kim, Kaeun Han et al.
- 掲載
- arXiv プレプリント(査読前) · 2026年10月29日
- リンク
- arxiv.org/abs/2610.40614
- コード
- github.com/cvlab-kaist/L3G-World
- 英語版
- Compact 3D memory helps a video world model stay consistent when the camera returns


