報酬モデルの採点で高速動画モデルの学習の重点を決める
Stream-R1 は学習用の動画、フレーム、領域ごとに報酬モデルの判定で重みを付け、同じ速度のまま直接の比較対象をベンチマークでわずかに上回った。

最も説得力のある映像を生み出す動画モデルは遅い。ランダムなノイズから出発し、何度も処理を重ねてノイズを取り除いていくからだ。著者らの比較では、そうしたモデルの一つである1.3Bパラメータの Wan2.1 は毎秒0.78フレームだった。完成を待てる映像なら許容できるが、対話的な場面や終わりの決まっていない配信のように、映像を途切れず流し続けなければならない用途には使えない。
よく使われる回避策は、遅いモデルをまねるよう高速なモデルを学習させ、短いチャンク(塊)単位で次々に映像を生成させる方法だ。中国科学技術大学と FrameX.AI の Bin Wu 氏らの研究は、査読を経ていないプレプリントとして2026年に arXiv で公開され、この学習について、より絞り込んだ問いを立てた。高速モデルが学ぶとき、練習用の動画のあらゆる部分を同じ重みで扱うべきなのか。彼らの手法 Stream-R1 の答えは「否」である。
考え方
自己回帰型のストリーミング生成では、拡散モデルが動画をチャンクごとに生成する。各チャンクはそれ以前のチャンクを条件として生成されるため、フレームを逐次流し出すことができ、原理的には動画をいつまでも続けられる。各チャンクを素早く作るため、少ないステップで動く「生徒」モデルを、多くのステップを要する遅い「教師」モデルに合わせるよう学習させる。一般的には分布マッチング蒸留(DMD)と呼ばれる手法が使われる。生徒は学習用の動画を生成し、これをロールアウトと呼ぶ。続いて2つの補助ネットワークが、そのロールアウトにノイズを加えたものをどうきれいにすべきかを推定する。一方は教師から導かれたもので、もう一方は生徒自身の出力で継続的に学習される。両者の推定の差が、生徒がどちらの方向に変わるべきかを示す。
著者らは、CausVid、Self-Forcing、LongLive、Rolling-Forcing など複数のストリーミング方式をこの系統に位置づける。そして、これらはいずれも、すべてのロールアウト、フレーム、ピクセルを等しく良い根拠として扱っていると主張する。
著者らによれば、それが2つの面で品質に上限を設けている。1つ目を彼らは Inter-Reliability と呼ぶ。ロールアウト全体として、その学習信号がどれだけ信頼できるかには差があるということだ。教師から導かれたネットワークは局所的な補正役として働き、補正の向きはサンプルがすでにどこにあるかに左右される。そのため、教師の最良の出力から遠いロールアウトでは、その指針の信頼性が下がる。2つ目は Intra-Perplexity と呼ばれ、言語モデルの用語を緩やかに借りたものだ。1本の動画の中で、領域やフレームごとに改善の余地がどれだけ残っているかの差を指す。均一な重み付けでは、すでに伸びしろのない部分にも労力が費やされる。著者らはどちらの前提についても論じているが、いずれも直接測定してはいない。
論文での実装
Stream-R1 は先行手法 Reward Forcing を土台にしている。Reward Forcing はすでに報酬モデルを使って DMD の損失の大きさを調整していた。報酬モデルとは動画を採点する事前学習済みのネットワークで、ここでは映像の品質、動きの品質、テキストのプロンプトとの一致度を評価する。Stream-R1 は3つのスコアを平均し、直近の学習ステップで各軸の向上にばらつきがあればペナルティを差し引く。そのうえで、結果の指数関数をロールアウトの損失に掛ける。こうして報酬モデルの評価が高いロールアウトほど重く扱われる。著者らはこの重みを、各ロールアウトをどこまで信頼するかの尺度として位置づけ直している。
Reward Forcing を超える部分は、各動画の内部で働く。各スコアを入力ピクセルまでさかのぼり、勾配サリエンシーマップを作る。このマップは、あるピクセルがわずかに変わったときにスコアがどれだけ変わるかを記録したものだ。3つのマップは、スコアが最も低い軸が最も重くなるように混ぜ合わされ、そのうえで2つに分けられる。フレームごとの重みと、フレーム内の位置ごとの重みである。それぞれに下限があり、フレームは0.20、位置は0.15で、どの部分も完全には無視されない。2つの重みの積が、位置ごとに DMD の誤差に掛けられる。重みは学習時にしか使われず、生徒モデルの構造や速度は変わらない。
生徒は1.3Bパラメータの Wan2.1、教師は14Bパラメータ版だ。生徒は832×480ピクセルの5秒の動画を、1チャンクあたり圧縮された「潜在」フレーム3つずつ、4回のノイズ除去ステップで生成する。学習は8基の A100 GPU で1,000ステップ行われ、約56時間かかった。
示されたこと、示されていないこと
主な評価は、動画生成の標準的なベンチマークである VBench で行われた。その Total スコアは、映像と動きを扱う Quality と、プロンプトへの忠実さを扱う Semantic の2つの下位スコアを合わせたものだ。Stream-R1 は84.40で、比較したモデルの中で最も高かった。直接の比較対象である Reward Forcing は84.13で、どちらも毎秒23.1フレームで動作する。Stream-R1 は Quality で0.30、Semantic で0.12上回った。多ステップで動く1.3Bパラメータの Wan2.1 は総合で84.26、Quality ではわずかに高い(85.30対85.14)が、速度は約30倍遅い。この比較の相手は小さいほうの Wan2.1 であり、学習に使った14Bパラメータの教師ではない。
副次的な評価の結果はまちまちだ。最長3分の動画について、著者らは Stream-R1 がすべての長さで6つの指標において Reward Forcing を上回り、2分と3分では差が広がったと報告している。ただし、これは図で示されているだけで、比較相手もその1手法に限られる。画像とテキストの両方を読み取る大規模な視覚言語モデル Qwen3-VL に1分の動画を1〜5で採点させたところ、Stream-R1 は映像(4.92対4.82)とテキストとの一致(4.11対4.04)で Reward Forcing より高く評価されたが、動き(4.04対4.18)では低かった。人による評価では、1分の動画50本を5人の評価者が見て、Reward Forcing とだけ比較した。引き分けを半分の勝ちと数えた総合の勝率は57%だった。時間的な一貫性ではほぼ互角で、25勝24敗だった。
差は小さく、誤差範囲も示されていない。アブレーション実験では、報酬を使わない DMD のベースラインに構成要素を一つずつ加えている。Stream-R1 が Reward Forcing と共有するロールアウト全体の報酬重み付けを単独で切り分けていないため、Stream-R1 独自の追加要素が、その共有部分を超えてそれぞれどれだけ寄与しているかは示せない。改善の大半はフレームごとの重み付けで得られ、Total は83.67から84.40に上がる。ところが、その下限を0.20から0.40に上げると Total は83.42に下がり、報酬なしのベースラインをわずかに下回る。空間的な重み付けだけでは、長い動画で品質が次第に落ちていくドリフトがかえって悪化した。ドリフトがベースラインを下回ったのは、フレームごとの重み付けを加えてからだった。論文本文に引用された数値の一部は、論文自身の表と一致しない。さらに、報酬モデルが採点する性質はベンチマークが測る性質とほぼ同じであるため、改善の一部は物差しに合わせた学習を反映している可能性がある。人工的なぼかしを使った1回の対照実験では、画面のぼかした範囲が広がるにつれて、フレームの重みが0.587から2.117へと着実に上昇した。妥当な読み方は、速度を犠牲にせず、ほとんどの指標でわずかに改善したということだ。なぜ効果があるのかの説明は、まだ示されていない。
- 論文
- Stream-R1: Reliability-Perplexity Aware Reward Distillation for Streaming Video Generation
- 著者
- Bin Wu, Mengqi Huang, Shaojin Wu, Weinan Jia, Yuxin Wang, Zhendong Mao, Yongdong Zhang et al.
- 掲載
- arXiv プレプリント(査読前) · 2026年5月5日
- リンク
- arxiv.org/abs/2605.03849
- コード
- github.com/FrameX-AI/Stream-R1
- 英語版
- How reward scores tell a fast video model where to focus its training


