ASIA
    ←Latent
    Latent · 串流影片生成 · 5 分鐘
    HEFEI · University of Science and Technology of China

    用獎勵分數告訴快速影片模型該把訓練重點放在哪裡

    Stream-R1 依獎勵模型的評分,為每段訓練影片、每個影格和區域加權,在相同速度下於基準測試小幅勝過直接對照的基準方法。

    2026年11月16日 · arXiv 預印本(未經同儕審查)
    rainbow light swirl spinning on black
    Photo: Flyd

    能產生最逼真片段的影片模型,速度都很慢。它們從隨機雜訊出發,經過許多次處理,逐步把畫面清理乾淨。在作者的比較中,這類模型之一、擁有 13 億個參數的 Wan2.1,每秒只能產生 0.78 個影格。如果是可以慢慢等的片段,這樣還能接受;但對於必須持續播放的影片,例如互動場景或沒有固定結尾的串流,就派不上用場。

    常見的變通做法,是訓練一個快速模型去模仿慢速模型,並讓它一小段接一小段地產生影片。中國科學技術大學與 FrameX.AI 的 Bin Wu 及同事進行的一項研究,2026 年以尚未經同儕審查的預印本形式發表在 arXiv,針對這種訓練提出一個更聚焦的問題:快速模型在學習時,每段練習影片的每個部分,是否都該同等看待?他們提出的方法 Stream-R1,給出的答案是否定的。

    基本構想

    在自迴歸串流生成中,擴散模型逐段產生影片。每一段都以先前的片段為條件,因此影格可以即時串流輸出,影片原則上也能無限延續。為了讓每一段都能快速產生,研究者會訓練一個只需少數步驟的「學生」模型,去匹配需要許多步驟的慢速「教師」模型,常見做法是分佈匹配蒸餾(distribution matching distillation,DMD)。學生先產生一段訓練用的影片,稱為 rollout。接著由兩個輔助網路估計,這段 rollout 加上雜訊後的版本應該如何還原。其中一個網路由教師模型衍生而來,另一個則持續以學生自己的輸出來訓練。兩者估計值之間的差距,告訴學生該往哪個方向調整。

    作者把好幾個串流系統歸入這一類,包括 CausVid、Self-Forcing、LongLive 和 Rolling-Forcing。他們認為,這些系統都把每一段 rollout、每個影格和每個像素,當成同樣可靠的依據。

    作者主張,這會從兩方面限制品質。第一種他們稱為 Inter-Reliability:不同的整段 rollout,提供的訊號可信程度各有不同。由教師衍生的網路扮演局部修正者的角色,修正的方向取決於樣本原本所在的位置。因此,當一段 rollout 離教師最好的成果很遠時,它給出的指引就比較不可靠。第二種他們稱為 Intra-Perplexity,這個詞是從語言模型領域借來的,用法並不嚴謹,指的是同一段影片裡,各區域或各影格還有多少改進空間的差異。一律平均加權,會把力氣花在已經不會再進步的部分。作者論證了這兩個前提,但都沒有直接加以量測。

    論文的實作方式

    Stream-R1 建立在較早的方法 Reward Forcing 之上,後者已經會用獎勵模型來縮放 DMD 損失。獎勵模型是預先訓練好、替影片打分數的網路,在這裡評的是視覺品質、動態品質,以及與文字提示的吻合程度。Stream-R1 把三項分數取平均,若各軸在最近幾個訓練步驟中進步幅度不均,再扣掉一個懲罰項。接著把 rollout 的損失乘上這個結果的指數函數,讓獎勵模型評分高的 rollout 份量更重。作者把這個權重重新詮釋為:對每段 rollout 應該信任到什麼程度的度量。

    超越 Reward Forcing 的部分,作用在每段影片內部。每項分數都會往回追溯到輸入像素,產生一張梯度顯著圖(gradient saliency map),記錄某個像素稍微改變時,分數會變動多少。三張圖混合時,讓得分最低的那一軸份量最重,再拆成兩部分:每個影格的權重,以及影格內每個位置的權重。兩者各有下限,影格為 0.20、位置為 0.15,因此沒有任何部分會被完全忽略。兩者的乘積再逐一位置乘上 DMD 誤差。這些權重只在訓練時使用,學生模型的架構和速度都不變。

    學生模型是 1.3B 參數的 Wan2.1,教師模型則是 14B 參數的版本。學生產生 5 秒、832 × 480 像素的片段,每段包含 3 個壓縮過的「潛在」影格,使用 4 個去雜訊步驟。訓練在 8 張 A100 圖形處理器上進行 1,000 步,耗時約 56 小時。

    結果說明了什麼,又沒說明什麼

    主要測試是標準的影片生成基準測試 VBench。它的 Total 總分結合了涵蓋視覺與動態的 Quality 子分數,以及衡量提示遵循程度的 Semantic 子分數。Stream-R1 拿到 84.40,是所有比較模型中最高的。它直接對照的基準方法 Reward Forcing 為 84.13,兩者的速度都是每秒 23.1 個影格。Stream-R1 在 Quality 上高出 0.30,在 Semantic 上高出 0.12。需要多步驟的 13 億參數 Wan2.1 總分為 84.26,Quality 略高(85.30 對 85.14),但速度慢了約 30 倍。這項比較的對象是較小的 Wan2.1,而不是訓練時使用的 14B 參數教師模型。

    次要測試的結果則有好有壞。在最長 3 分鐘的影片上,作者報告 Stream-R1 在每種長度的 6 項指標上都領先 Reward Forcing,而且在 2 分鐘和 3 分鐘時差距擴大。這項結果只以圖表呈現,比較對象也只有這一個基準方法。能同時讀取影像與文字的大型視覺語言模型 Qwen3-VL,替 1 分鐘的影片打 1 到 5 分。它在視覺(4.92 對 4.82)和文字吻合度(4.11 對 4.04)上給 Stream-R1 的分數高於 Reward Forcing,但在動態表現上較低(4.04 對 4.18)。一項人工評估使用 50 段 1 分鐘影片、5 名標註者,只與 Reward Forcing 比較。平手算半勝的情況下,Stream-R1 的整體勝率為 57%;在時間一致性上則幾乎打平,25 勝 24 負。

    這些差距都很小,而且報告時沒有附上誤差範圍。消融實驗是從沒有任何獎勵的 DMD 基準方法出發,一次加入一個元件。它始終沒有單獨檢驗 Stream-R1 與 Reward Forcing 共有的整段 rollout 獎勵加權,因此無法說明 Stream-R1 自己新增的各項元件,在這個共有加權之外各貢獻了多少。大部分的提升來自逐影格加權,讓 Total 從 83.67 升到 84.40。然而把這個下限從 0.20 提高到 0.40,Total 會掉到 83.42,略低於沒有獎勵的基準方法。單獨使用空間加權時,長影片的漂移(drift,即長片段中品質逐漸衰退的現象)反而更嚴重;要加上逐影格加權之後,漂移才降到基準方法以下。論文內文引用的部分數字,與論文自己的表格對不上。此外,由於獎勵模型評分的品質,和基準測試衡量的大致相同,部分提升可能反映的是朝著評量標準本身去訓練。在一項加入人工模糊的單一對照測試中,隨著畫面被模糊的範圍擴大,影格權重確實從 0.587 穩定上升到 2.117。持平而論,這是在不犧牲速度的前提下,多數指標上的小幅改進;至於它為什麼有效,仍有待論證。

    論文
    Stream-R1: Reliability-Perplexity Aware Reward Distillation for Streaming Video Generation
    作者
    Bin Wu, Mengqi Huang, Shaojin Wu, Weinan Jia, Yuxin Wang, Zhendong Mao, Yongdong Zhang et al.
    刊登
    arXiv 預印本(未經同儕審查) · 2026年5月5日
    連結
    arxiv.org/abs/2605.03849
    程式碼
    github.com/FrameX-AI/Stream-R1
    英文版
    How reward scores tell a fast video model where to focus its training

    中文版報導

    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · 果蠅求偶

    食物氣味加上群體動態,開啟一種果蠅的求偶行為

    2026 年一項 Nature 研究發現,Drosophila erecta 果蠅的雄蠅會被食物氣味引發性興奮,群體動態再加以放大;少了這樣的環境,就不會交配。

    Nature · 2026年11月4日

    Photo: Pascal Bernardon

    Far Field · 黑洞純量雲

    偏心軌道放大輕粒子雲在黑洞訊號上留下的痕跡

    發表在 Physical Review Letters 的計算發現,偏心旋近在最內側軌道附近出現共振,會加強純量雲在重力波上留下的痕跡。

    Physical Review Letters · 2026年10月20日
    人臉入鏡(黑白), 可當報導配圖
    人臉入鏡(黑白), 可當報導配圖

    Photo: Arturo Mendez

    Alignment · AI 代理違規

    只用任務獎勵訓練的 AI 代理,學會在違規划算時打破規則

    一篇預印本建構出「違規捷徑可證明報酬更高」的代理任務,發現只要對任何有紀錄的違規施以簡單懲罰,就能大幅減少這類違規。

    arXiv 預印本 · 2026年11月9日