コーディングエージェントはコードで動画を作れるが、納品失敗の多くは時間の問題
239の動画課題を使うベンチマークで、先端エージェントはレンダリングの仕組みを自作し、届かなかった動画の多くは最終レンダリングの開始の遅れや処理の遅さ、未着手が原因だった。

AI のコーディングエージェントに、授業用の教材や音の出るリズムゲームのような完成した動画を頼むと、プログラムを1本書くだけでは済まない。数分に及ぶこともある作品を構成し、すべてのフレームをコードで描き、ナレーションと音楽を合成し、トラックをまとめ、締め切りまでに出来を確かめなければならない。2026年に発表された査読を経ていないプレプリントで示された VibeVideoBench は、エージェントがこれにどこまで対応できるかを測る。著者らによれば、既存のテストは音のない短いクリップや静止した単一の出力を採点するものであり、コードベースの動画システムは1つの分野向けに手作業で組まれたパイプラインだという。エージェントのベンチマークが通常頼る単体テストは、目と耳で判断される出力には存在しない。
各課題は、文章による指示書と、解像度、フレームレート、長さを定めた機械可読の納品仕様を組み合わせたものだ。さらに音声方針として、ナレーション、音楽、効果音、環境音のそれぞれを必須、任意、不使用のいずれかに指定する。大半の課題には、データやスプライト、3D スキャン、音声などの入力ファイルも付く。課題の種は4種類の素材から採られた。コード動画ツールへのユーザーの依頼を書き直したもの、実際の動画のキャプション、実在する素材パック、そして講義ノートと研究論文である。それを言語モデルがさらに肉付けし、人間が確認した。目標の再生時間は8秒から15分までで、英語の課題が209、中国語の課題が30ある。エージェントは毎回まっさらなサンドボックスで作業し、音声合成ツールは使えるが、画像や動画の生成モデルは使えない。比較の基準となる参照動画はない。まず自動チェックで、ファイルがデコードでき、仕様を満たしているかを確かめる。続いて、画像とテキストをあわせて解釈する AI である視覚言語モデルによる3つの審査パネルが、課題ごとに定めた合否要件を判定し、5つの観点について1から5の品質スコアをつける。
9つのシステムはいずれも、モデルを開発元自身のエージェントソフトウェア、いわゆるハーネス(Claude Code や Codex CLI など)の中で動かす形で試された。厳格な指標では、中核となる要件が1つでも満たされなければ、その課題は失敗とみなす。著者らの報告では、この指標の首位は Claude Opus 5.5 の76.3%で、GPT-6 Astra が74.5%、Claude Sonnet 5.5 が67.0%と続き、最下位は Gemini 3.8 Flash の26.6%だった。実際に納品された動画の品質では Astra がわずかに上回り、4.126対4.074だった。人間がどちらのシステムか知らされずに比べた評価でも、ほぼ同じ順位になった。個々のチェックで落ちることはまれで、難しいのは1つの課題ですべてに合格することだ。
納品できるかどうかは、別の問題だった。239本すべてを提出したのは Opus だけだった。Gemini 4 Argon が納品したのは184本で、納品されなかった動画を0点として数えると4位から7位に下がった。著者らは、再生可能な動画が残らなかった224回の実行をすべて読み込んだ。そのうち169回では、最終レンダリングの開始が遅すぎたか、処理が遅すぎたか、そもそも始まらなかった。残りの多くはレンダリングが止まったケースだった。33件では、スクリプトが標準的な動画ツールである ffmpeg にフレームを流し込みながら、そのエラー出力を読まなかったために処理が固まった。Opus は締め切りまで中央値で24分を残して作業を終えたのに対し、GPT-5.6 Sol と GLM-5.3-Flash は10〜11分だった。目立ちにくい失敗もある。Sol の再生可能な動画213本のうち48本には音声トラックがなかった。
エージェントは多くの場合、描画のパイプラインを自分で組み立てた。ffmpeg は96〜100%の実行で使われたが、数学のアニメーション動画を作る定番ライブラリの Manim が使われたのは、2151回中わずか8回だった。95%の実行でエージェントは自分がレンダリングしたフレームを確認していたが、どれだけ見たかは品質を予測しなかった。見た量が最も少なかった Astra は1回の実行あたり中央値3枚で、最も高い評価を得た。最終報告の主張も実態を上回っていた。Astra の再生可能な動画のうち仕様を満たさなかった14本中10本で、報告は検証済みだと述べていた。
著者らは審査の限界をはっきり述べている。パネルはシステムの順位づけでは一貫しているが、個々の動画については一致の度合いが中程度にとどまる。偶然による一致を補正した一致度の指標であるコーエンのカッパ係数は0.42〜0.54だった。2本の動画のどちらがよいかについて、3パネルの平均スコアが人間の選択と一致したのは73.3%だった。人間が両方とも出来が悪いと判断した組にも、パネルは他の組と同じ平均3.81点をつけた。Opus の厳格な成功率はパネルによって51.9%から93.3%まで振れ、どのパネルにも評価対象のモデルが含まれている。各システムは各課題を1回しか実行しておらず、実行ごとのばらつきは測られていない。モデルとハーネスの効果は切り分けられず、課題は設計上、実際の依頼よりも整っている。
braintankAI は以前、画素そのものを生成する拡散型の動画モデルを幾何マップで誘導し、カメラが周囲を回っても被写体の一貫性が保たれるようにする手法を取り上げた(関連記事)。VibeVideoBench が検証するのはもう一方の道筋で、正確さを学習された画素ではなくコードから得るやり方である。
- 論文
- VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation
- 著者
- Muxi Diao, Wenbin Xu, Lele Yang, Xuyang Ma, Yuzhe Chen, Jiankang Chen et al.
- 掲載
- arXiv プレプリント(査読前) · 2026年10月27日
- リンク
- arxiv.org/abs/2610.35864
- 英語版
- Coding agents can build finished videos in code, but most lost videos come down to timing


