一套公開流程,把影片生成器變成能操控鏡頭的世界模型
研究人員公開一套流程的每個階段,教影片模型跟隨攝影機移動、一段一段生成,把第一個影格的等待時間從幾分鐘縮短到幾秒。

影片生成器可以做出一段逼真的森林漫步短片,但沒有人能真的走上那條路。你輸入提示詞、等待,然後拿到一部完成的影片。模型若要像一個可以探索的地方,就得在你觀看的同時產生畫面,在你轉動攝影機時做出反應,而且速度要夠快,不讓延遲破壞身歷其境的感覺。研究人員把這樣的系統稱為互動式世界模型。它和一般影片生成器之間的差距,正是 minWM 的主題。minWM 是一篇 2026 年發表在 arXiv、尚未經同儕審查的預印本。
作者群為 Min Zhao、Jun Zhu 與另外 14 名同事,他們並未宣稱提出新的演算法。他們的論點是,把影片模型變成可操控、即時運作的模型所需的技術早已存在,只是分散在各自獨立的流程裡。作者認為,目前沒有一套統一、可重現的框架,涵蓋從訓練資料到可運作互動模型的完整過程。minWM 就是他們以公開方式補上這塊的嘗試。
構想
多數高品質的影片生成器是擴散模型:從隨機雜訊開始,經過許多步驟逐步去除雜訊,直到短片成形。作者用來當起點的模型也是雙向的,意思是所有影格一起修整,每個影格都能參考前後的影格。這有助於品質,但整段短片完成之前什麼都拿不到,使用者也沒有任何可以介入的時機。
互動式世界模型需要不同的結構。它必須是因果的,也就是自迴歸(autoregressive):一次生成一段影片,每一段只以先前的內容為條件。如此一來,整段短片還沒完成就能開始播放,下一段也能反映使用者剛剛做的動作。它還必須回應動作,在這篇論文中指的是攝影機軌跡,也就是虛擬攝影機在場景中移動的路徑與朝向。最後,它必須把延遲(輸出出現前的等待時間)壓低。對擴散模型來說,這代表只能用極少的去噪步驟完成生成。
每一項需求都已有對應的方法。其中最核心的是自迴歸擴散蒸餾:訓練一個快速、逐段生成的學生模型,去模仿速度較慢但能力較強的教師模型。作者形容這些方法散落在各自獨立的流程中,因此要打造互動式世界模型,從資料到推論的每個階段仍需投入大量心力。
論文怎麼實作
整套流程分成兩大部分。第一部分先用攝影機路徑已知的影片微調原本的雙向模型,讓它學會跟隨攝影機運動。攝影機資訊透過 PRoPE 輸入。這項技術把每個影格的攝影機參數併入注意力機制,也就是決定影像中每個區塊對其他區塊影響多少的機制。這些參數包括焦距等鏡頭特性(內部參數),以及攝影機的位置與朝向(外部參數)。因此,當來自兩個不同影格的區塊互相作用時,模型會考慮攝影機在兩者之間如何移動。
第二部分依循名為 Causal Forcing 與 Causal Forcing++ 的既有做法,分三個階段把這個能感知攝影機的模型轉成快速的自迴歸模型。第一階段以教師強制(teacher forcing)重新訓練模型逐段運作,也就是讓模型根據真實的前段影格、而不是自己的輸出來預測每一段。單靠這一步,模型仍然很慢,而且容易出現曝光偏差(exposure bias):一旦必須以自己不完美的影格為基礎繼續生成,誤差就會不斷累積。第二階段用兩種方式之一建立少步數的學生模型。一種是讓它沿著較慢模型從雜訊走到影像的路徑學會抄捷徑;另一種是一致性蒸餾,訓練它在相鄰的雜訊程度下給出一致的答案,如此就不必事先生成並儲存那些路徑。第三階段採用分布匹配蒸餾,把學生模型的輸出推向較強的雙向教師模型會產生的結果。在這個階段中,學生模型始終像實際使用時一樣,以自己先前生成的影格為基礎生成完整影片。每個階段的每個模型都會接收攝影機訊號。
作者在兩個架構不同的影片模型上跑完整套流程。一個是文字生成影片模型 Wan2.1-T2V-1.3B,另一個是以文字加一張圖片為輸入的 HY1.5-TI2V-8B。輸出短片為 77 個影格、480 × 832 像素,以 4 個去噪步驟生成,每次產出 4 個經過壓縮的影格,也就是潛在(latent)影格。作者表示,他們公開的不是單一個訓練好的模型,而是腳本、每個階段的中間檢查點、說明文件和推論程式碼,讓其他人可以從任何一個環節接手或修改這套流程。
證明了什麼,又沒證明什麼
唯一有量測的結果是第一個影格的等待時間。測試在單一張 A800 繪圖晶片上進行,並且不計入自編碼器的時間;自編碼器負責在模型的壓縮影格與像素之間轉換。在這個基準下,原本的 HY1.5 約需 771 秒才產出第一個影格;經過第一階段、改為逐段生成的版本約需 81 秒,最終的 4 步模型約需 3.4 秒,比原本快了約 224 倍。Wan2.1 的對應數字約為 269 秒、29 秒和 1.1 秒,加速約 237 倍。作者指出,這個差距有一部分來自結構:雙向模型必須完成整個序列才能顯示任何影格,自迴歸模型則是最先產出第一個影格。這個數字反映的是開始播放前的等待,而不是播放開始後的速度。
其他結論都只靠範例圖片支撐。作者展示的樣本中,蒸餾後的模型能跟隨攝影機路徑,也能應付變換的攝影機指令。不過,他們沒有提供畫面品質或攝影機遵循程度的評分。所有比較都是在同一個基礎模型的不同版本之間進行,沒有和其他世界模型或蒸餾做法對照。短片長度只有 77 個影格,因此這項研究幾乎無法說明世界在長時間互動中能否維持一致。目前只支援攝影機控制和兩個基礎模型,其他控制方式和更多模型留待未來研究。
最實用的內容在消融實驗,也就是一次只改變一個要素的實驗。用 SpatialVid(由軟體估算攝影機姿態的真實影片)訓練,即使額外篩選過,在兩個模型上都無法得到可靠的控制。作者懷疑問題出在姿態資料有雜訊,並稱這是他們本身嘗試的侷限,而不是證明該資料集不適用。真正奏效的是攝影機路徑實際上精確無誤的資料。其中一個來源是 DL3DV 的場景,先以 3D 重建,再沿著選定的軌跡重新渲染;另一個用於公開版本的來源,則是由另一個世界模型 WorldPlay 生成的影片。在 HY1.5 上,訓練 1,000 到 2,000 步時完全沒有控制能力,約 5,000 步時開始出現,到 8,000 步時已相當強。在 Wan2.1 上,每批少於 4 個樣本時經常失敗,16 個就已足夠。步數和批次大小的發現各自只來自單一模型,而且這些結果全都以範例輸出呈現,而非量測的分數。
- 論文
- minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models
- 作者
- Min Zhao, Hongzhou Zhu, Bokai Yan, Zihan Zhou, Yimin Chen, Wenqiang Sun, Kaiwen Zheng, Guande He, Xiao Yang, Chongxuan Li, Fan Bao, Jun Zhu et al.
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年5月28日
- 連結
- arxiv.org/abs/2605.30263
- 程式碼
- github.com/shengshu-ai/minWM
- 英文版
- An open recipe for turning a video generator into a camera-steered world model


