精簡的 3D 記憶,讓影片世界模型在鏡頭折返時保持一致
KAIST AI 的一篇預印本,把生成的場景存成數萬個帶有影片模型自身特徵的 3D 小團塊,降低記憶占用與算繪成本。

互動式世界模型是一種影片生成器:使用者操控一台虛擬攝影機,它就產生這台攝影機應該看到的畫面。其中一大難題是記憶。攝影機繞了一大圈回來,應該看到離開時的同一個場景,這種測試稱為迴圈閉合(loop closure)。KAIST AI 在 2026 年發表一篇尚未經同儕審查的預印本,介紹 L3G-World。它從單張圖片建出可探索的世界,並用一份生成器能直接讀取的精簡 3D 記憶,讓這個世界保持一致。
作者認為,過去的系統大致走兩條路。有些把越來越長的歷史畫面餵給生成器;有些則維護一份由點或高斯(Gaussian)組成的顯式 3D 記憶。高斯是帶有位置、形狀、顏色和不透明度的模糊 3D 小團塊,可以從任何視角快速算繪。這類記憶中速度快的版本,會在同一塊區域堆疊重複的副本,而且不會更新已存的內容,因此錯誤的幾何可能一直留著。這些顯式記憶把場景交給生成器的方式也很慢:先算繪出一般影像,再透過 VAE 重新編碼。VAE 是一種自編碼器,負責把畫面壓縮成影片擴散模型運作時使用的精簡潛在表示。作者表示,這一步使系統無法做到即時。
L3G-World 讓記憶更新器和影片生成器輪流運作。每來一段新的畫面,更新器就把記憶算繪到新的攝影機視角上。記憶太透明或顏色錯誤的像素,組成一張「新增遮罩」(spawn mask)。新的高斯只會在這些位置出現,並以 Depth Anything 3 模型的幾何特徵為起點;已在視野中的高斯,則會套用預測出的修正。每個高斯也存有一份 VAE 潛在特徵,所以算繪記憶得到的,就是生成器自身運作空間裡的輸入;生成器的輸出再流回記憶,不需要重新編碼。生成器是一個擴散 transformer,也就是一步步把雜訊變成影片的 transformer。它以 Cosmos-Predict2.5 為基礎,並用 LoRA 微調;LoRA 是只訓練少量附加權重的低成本方法。另一個「Fast」版本經過蒸餾,也就是訓練一個學生模型,只用少數幾個去噪步驟就模仿完整模型。
生成器以 DL3DV 和 RealEstate10K 兩個場景資料集訓練,記憶更新器則只用 DL3DV,測試也使用同樣這兩個資料集。測試採用 481 幀的攝影機路徑,先離開起始視角,再沿原路折返。比較對象共 8 個系統,包括 Yume 1.5、Matrix-Game 3.0、GEN3C、Lyra 2.0,以及採用高斯記憶的 NeoVerse。所有顯式記憶方法都使用相同的 Depth Anything 3 深度估計,計時也都在同一張 A100 GPU 上進行。作者報告,在 DL3DV 上,L3G-World 使用 33K 個基元,Lyra 2.0 則是 1,273K;記憶占用為 11.88 MiB,最精簡的基準方法 SPMem 是 38.16 MiB。把記憶算繪到生成器潛在空間的速度為每秒 1,086.58 幀,NeoVerse 則是 3.11 幀。在迴圈閉合上,L3G-World 的 PSNR(一種像素層級的相似度指標)為 16.00,表現最好的基準方法 Spatia 是 13.96。一項消融實驗單獨檢驗了潛在空間這個做法:直接算繪為每秒 943.6 幀,先算繪再重新編碼則是 2.97 幀。
領先並非全面。MEt3R 衡量生成畫面在 3D 上的一致程度,數值越低越好;在兩個資料集上,L3G-World 這項都不是最好。在 DL3DV 上它得到 0.078,Yume 1.5 是 0.050,但論文內文只承認在 RealEstate10K 上落後。在 RealEstate10K 上,Lyra 2.0 和 GEN3C 跟隨指定攝影機路徑的準確度也比較高。論文中每秒 9.02 幀的即時數據,來自在 H100 上執行的 Fast 版本,而不是比較時使用的 A100。這個版本也犧牲了一些品質。FID 衡量生成影像與真實影像的差距;在 RealEstate10K 上,Fast 版本得到 49.94,完整模型是 36.09,落後三個基準方法。這套設定還有其他缺口:測試都在與訓練相同的領域內,而且只有靜態場景,唯一的操作是攝影機移動。標題中的「無限」,依據的是 481 幀的測試,而記憶仍會隨探索範圍擴大而增長。論文也沒有報告多次執行之間的變異。
braintankAI 曾報導騰訊的 Hy-Nomas,這個影片世界模型同樣得在攝影機移動時,記住畫面上已經出現過的東西(相關報導)。另一篇 KAIST AI 的預印本,則利用從參考照片重建的幾何圖來引導影片生成,讓攝影機繞著主體轉時,主體保持一致(相關報導)。L3G-World 押的是同一個賭注:顯式的 3D 結構有助於影片生成器保持連貫。
- 論文
- L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory
- 作者
- Jinhyeok Choi, JoungBin Lee, Jongmin Lee, Minkyeong Jeon, Jiyoung Kim, Kaeun Han et al.
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年10月29日
- 連結
- arxiv.org/abs/2610.40614
- 程式碼
- github.com/cvlab-kaist/L3G-World
- 英文版
- Compact 3D memory helps a video world model stay consistent when the camera returns


