ASIA
    ←Embodied
    Embodied · 影片世界模型 · 5 分鐘
    HONG KONG · Hong Kong University of Science and Technology

    一套公開流程,把影片生成器變成能操控鏡頭的世界模型

    研究人員公開一套流程的每個階段,教影片模型跟隨攝影機移動、一段一段生成,把第一個影格的等待時間從幾分鐘縮短到幾秒。

    2026年11月14日 · arXiv 預印本(未經同儕審查)
    Photo: Mitch Nielsen

    影片生成器可以做出一段逼真的森林漫步短片,但沒有人能真的走上那條路。你輸入提示詞、等待,然後拿到一部完成的影片。模型若要像一個可以探索的地方,就得在你觀看的同時產生畫面,在你轉動攝影機時做出反應,而且速度要夠快,不讓延遲破壞身歷其境的感覺。研究人員把這樣的系統稱為互動式世界模型。它和一般影片生成器之間的差距,正是 minWM 的主題。minWM 是一篇 2026 年發表在 arXiv、尚未經同儕審查的預印本。

    作者群為 Min Zhao、Jun Zhu 與另外 14 名同事,他們並未宣稱提出新的演算法。他們的論點是,把影片模型變成可操控、即時運作的模型所需的技術早已存在,只是分散在各自獨立的流程裡。作者認為,目前沒有一套統一、可重現的框架,涵蓋從訓練資料到可運作互動模型的完整過程。minWM 就是他們以公開方式補上這塊的嘗試。

    構想

    多數高品質的影片生成器是擴散模型:從隨機雜訊開始,經過許多步驟逐步去除雜訊,直到短片成形。作者用來當起點的模型也是雙向的,意思是所有影格一起修整,每個影格都能參考前後的影格。這有助於品質,但整段短片完成之前什麼都拿不到,使用者也沒有任何可以介入的時機。

    互動式世界模型需要不同的結構。它必須是因果的,也就是自迴歸(autoregressive):一次生成一段影片,每一段只以先前的內容為條件。如此一來,整段短片還沒完成就能開始播放,下一段也能反映使用者剛剛做的動作。它還必須回應動作,在這篇論文中指的是攝影機軌跡,也就是虛擬攝影機在場景中移動的路徑與朝向。最後,它必須把延遲(輸出出現前的等待時間)壓低。對擴散模型來說,這代表只能用極少的去噪步驟完成生成。

    每一項需求都已有對應的方法。其中最核心的是自迴歸擴散蒸餾:訓練一個快速、逐段生成的學生模型,去模仿速度較慢但能力較強的教師模型。作者形容這些方法散落在各自獨立的流程中,因此要打造互動式世界模型,從資料到推論的每個階段仍需投入大量心力。

    論文怎麼實作

    整套流程分成兩大部分。第一部分先用攝影機路徑已知的影片微調原本的雙向模型,讓它學會跟隨攝影機運動。攝影機資訊透過 PRoPE 輸入。這項技術把每個影格的攝影機參數併入注意力機制,也就是決定影像中每個區塊對其他區塊影響多少的機制。這些參數包括焦距等鏡頭特性(內部參數),以及攝影機的位置與朝向(外部參數)。因此,當來自兩個不同影格的區塊互相作用時,模型會考慮攝影機在兩者之間如何移動。

    第二部分依循名為 Causal Forcing 與 Causal Forcing++ 的既有做法,分三個階段把這個能感知攝影機的模型轉成快速的自迴歸模型。第一階段以教師強制(teacher forcing)重新訓練模型逐段運作,也就是讓模型根據真實的前段影格、而不是自己的輸出來預測每一段。單靠這一步,模型仍然很慢,而且容易出現曝光偏差(exposure bias):一旦必須以自己不完美的影格為基礎繼續生成,誤差就會不斷累積。第二階段用兩種方式之一建立少步數的學生模型。一種是讓它沿著較慢模型從雜訊走到影像的路徑學會抄捷徑;另一種是一致性蒸餾,訓練它在相鄰的雜訊程度下給出一致的答案,如此就不必事先生成並儲存那些路徑。第三階段採用分布匹配蒸餾,把學生模型的輸出推向較強的雙向教師模型會產生的結果。在這個階段中,學生模型始終像實際使用時一樣,以自己先前生成的影格為基礎生成完整影片。每個階段的每個模型都會接收攝影機訊號。

    作者在兩個架構不同的影片模型上跑完整套流程。一個是文字生成影片模型 Wan2.1-T2V-1.3B,另一個是以文字加一張圖片為輸入的 HY1.5-TI2V-8B。輸出短片為 77 個影格、480 × 832 像素,以 4 個去噪步驟生成,每次產出 4 個經過壓縮的影格,也就是潛在(latent)影格。作者表示,他們公開的不是單一個訓練好的模型,而是腳本、每個階段的中間檢查點、說明文件和推論程式碼,讓其他人可以從任何一個環節接手或修改這套流程。

    證明了什麼,又沒證明什麼

    唯一有量測的結果是第一個影格的等待時間。測試在單一張 A800 繪圖晶片上進行,並且不計入自編碼器的時間;自編碼器負責在模型的壓縮影格與像素之間轉換。在這個基準下,原本的 HY1.5 約需 771 秒才產出第一個影格;經過第一階段、改為逐段生成的版本約需 81 秒,最終的 4 步模型約需 3.4 秒,比原本快了約 224 倍。Wan2.1 的對應數字約為 269 秒、29 秒和 1.1 秒,加速約 237 倍。作者指出,這個差距有一部分來自結構:雙向模型必須完成整個序列才能顯示任何影格,自迴歸模型則是最先產出第一個影格。這個數字反映的是開始播放前的等待,而不是播放開始後的速度。

    其他結論都只靠範例圖片支撐。作者展示的樣本中,蒸餾後的模型能跟隨攝影機路徑,也能應付變換的攝影機指令。不過,他們沒有提供畫面品質或攝影機遵循程度的評分。所有比較都是在同一個基礎模型的不同版本之間進行,沒有和其他世界模型或蒸餾做法對照。短片長度只有 77 個影格,因此這項研究幾乎無法說明世界在長時間互動中能否維持一致。目前只支援攝影機控制和兩個基礎模型,其他控制方式和更多模型留待未來研究。

    最實用的內容在消融實驗,也就是一次只改變一個要素的實驗。用 SpatialVid(由軟體估算攝影機姿態的真實影片)訓練,即使額外篩選過,在兩個模型上都無法得到可靠的控制。作者懷疑問題出在姿態資料有雜訊,並稱這是他們本身嘗試的侷限,而不是證明該資料集不適用。真正奏效的是攝影機路徑實際上精確無誤的資料。其中一個來源是 DL3DV 的場景,先以 3D 重建,再沿著選定的軌跡重新渲染;另一個用於公開版本的來源,則是由另一個世界模型 WorldPlay 生成的影片。在 HY1.5 上,訓練 1,000 到 2,000 步時完全沒有控制能力,約 5,000 步時開始出現,到 8,000 步時已相當強。在 Wan2.1 上,每批少於 4 個樣本時經常失敗,16 個就已足夠。步數和批次大小的發現各自只來自單一模型,而且這些結果全都以範例輸出呈現,而非量測的分數。

    論文
    minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models
    作者
    Min Zhao, Hongzhou Zhu, Bokai Yan, Zihan Zhou, Yimin Chen, Wenqiang Sun, Kaiwen Zheng, Guande He, Xiao Yang, Chongxuan Li, Fan Bao, Jun Zhu et al.
    刊登
    arXiv 預印本(未經同儕審查) · 2026年5月28日
    連結
    arxiv.org/abs/2605.30263
    程式碼
    github.com/shengshu-ai/minWM
    英文版
    An open recipe for turning a video generator into a camera-steered world model

    中文版報導

    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · 果蠅求偶

    食物氣味加上群體動態,開啟一種果蠅的求偶行為

    2026 年一項 Nature 研究發現,Drosophila erecta 果蠅的雄蠅會被食物氣味引發性興奮,群體動態再加以放大;少了這樣的環境,就不會交配。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 串流影片生成

    用獎勵分數告訴快速影片模型該把訓練重點放在哪裡

    Stream-R1 依獎勵模型的評分,為每段訓練影片、每個影格和區域加權,在相同速度下於基準測試小幅勝過直接對照的基準方法。

    arXiv 預印本 · 2026年5月5日

    Photo: Pascal Bernardon

    Far Field · 黑洞純量雲

    偏心軌道放大輕粒子雲在黑洞訊號上留下的痕跡

    發表在 Physical Review Letters 的計算發現,偏心旋近在最內側軌道附近出現共振,會加強純量雲在重力波上留下的痕跡。

    Physical Review Letters · 2026年10月20日