動画を再描画できるコードで AI にキャプションを書かせるベンチマーク
CodeCap-Bench は、マルチモーダル AI が323本の短い 2D 動画を再描画するプログラムをどれだけ忠実に書けるかを測り、動きは静的な細部より一貫して捉えにくいと示した。

動画のキャプションは映像に映っている内容を書き残すためのものだが、ふつうの文章では、物がどこにあり、どう動き、いつ変化するかを正確に記録しにくい。2026年に公開された、査読を経ていないプレプリントは別のやり方を試している。図形や文字、レイアウトを描き、動きを時間の関数として表す実行可能なプログラムで動画を記述するというものだ。そのコードを実行すれば、元の映像が再現されるはずである。論文に示された例の一つでは、滑らかな動きをつくる曲線でスクロールを制御しており、コードならある要素の位置をどの瞬間についても確定できることを示している。こうしたキャプションはレンダリング(描画)して元の動画と並べられるため、忠実さを直接確かめられる。著者らによれば、マルチモーダル大規模言語モデル(MLLM、テキストに加えて画像や動画も読み取るシステム)がこうしたキャプションを書けるかどうかを専門に調べる評価は、この研究以前にはなかった。
著者らのベンチマーク CodeCap-Bench は、Bilibili、YouTube、Behance、Vimeo などのプラットフォームから323本の動画を集めたもので、デスクトップやアプリの画面、データ可視化といった構造化された 2D コンテンツの5つのカテゴリーにまたがる。複雑な 3D の視点や細かなテクスチャー、ピクセル単位の密な動きが中心となるクリップは除外した。動画の長さは平均19.0秒で、アニメーションをコードに変換する先行ベンチマーク Animation2Code の5.1秒より長い。1本あたり平均16.8個の物体に注釈が付けられ、人が確認した注目点(focal point)が平均8.6個ある。注目点とは確認する価値のある細部のことで、外観やレイアウト、文字といった静的なものと、状態の変化や動き、タイミングといった動的なものがある。モデルは純粋なコードだけで取り組む条件に置かれ、元の動画のフレームを貼り込むのではなく、すべてを自分で描かなければならない。
採点は3層からなる。事前学習済みの動画モデル V-JEPA 2.1 が、元の動画と再構成した動画の全体的な見た目を比べる。物体単位の指標では、各物体のバウンディングボックス(物体を囲む矩形)が両者の間でどれだけ重なるかをフレームごとに調べる。物体の位置特定には GPT-6-sol を、輪郭の切り出しにはセグメンテーションモデル SAM 3.1 を使う。最後に GPT-6-sol が、注目点の一つひとつを0から5で採点する。レンダリングできなかったコードは、すべての項目で0点となる。4つのモデルが50本の参照動画について出力した結果では、AI 評価者の採点は人による評価とよく連動し、ピアソン相関係数は0.942だった(1なら完全に一致)。
テストしたのは7つのモデルである。1秒あたり2枚の割合で抜き出したフレームから一度で書かせる方式と、フレームの確認や下書きのレンダリング、修正ができるツール環境(Pi Agent、Codex、Claude Code)の中でエージェントとして動かす方式を試した。GPT-6-astra は両方の方式で全体の情報保持スコアが首位だった。Codex と組み合わせた場合、全体の保持スコアは73.24、レンダリング成功率は99.4%に達し、著者らは2位の Opus-5(Pi Agent 使用、58.84)に14.40ポイントの差をつけたと報告している。レンダリングできることと忠実であることは別だ。Codex を使った GPT-6-sol はすべての動画をレンダリングしたが、スコアは51.34にとどまった。どの構成でも動的な細部は静的な細部より成績が低く、首位のモデルでさえ68.61対80.72だった。エージェント用のツール環境は成功率を高めたものの、忠実さを確実に高めたわけではない。GPT-6-sol はツール環境なしで53.08を記録し、Codex や Pi Agent を使った場合の結果を上回った。GPT-6-sol の思考量(thinking effort)を medium から xhigh に引き上げると、保持スコアは47.53から63.29に上がったが、動画1本あたりの平均コストは0.315米ドルから1.409米ドルに増えた。ツール呼び出しが多いほど結果が良いわけでもなかった。Gemini-3.8-flash は動画1本あたり99.6回ツールを呼び出してスコアは47.73、GPT-6-astra は47.4回で72.87だった。
著者らは前提そのものを確かめるため、コードによるキャプションと文章によるキャプションを比べた。既存の3つの質問応答データセットから取った100本の動画について、Gemini-3.8-flash にコードをレンダリングした動画か文章のどちらかをもとに答えさせたところ、Opus-5 のコードキャプションでは正答率が83.02%となり、文章の72.64%を上回って、元の動画から得た83.96%に近づいた。GPT-5.6-sol では差が小さく、76.42%対73.58%だった。再構成の比較では、文章キャプションを動画生成モデル Seedance-2.5 で動画に変換した。コードは見た目では明確に上回ったが、動きの指標ではわずかな差にとどまった。
ただし、実験の設計上、これらの比較からわかることには限りがある。ベンチマークはプログラムで描くのに向いた内容を意図的に残している。GPT-6-sol は出場モデルであると同時に主な評価者でもあり、評価者を入れ替えた検証は2つのモデルでしか行われていない。レンダリングされた動画に対する物体の重なりの自動計測パイプラインを人が確かめた結果は報告されておらず、繰り返し実行や有意性検定も報告されていない。質問応答のテストでは、回答するモデルに一方では動画を、もう一方では文章を与えている。再構成のテストは、キャプション単体ではなく、文章キャプションと動画生成モデルを組み合わせた結果を測っている。
動きの再現が弱いという結果は、braintankAI の別の記事とも重なる。その記事では、空間データで学習した動画モデルが、学習の構成を組み直すまでは一部の関係をほかの関係よりうまく扱っていた(関連記事)。単一の実行可能な記述という発想は、文書や画像、動画を1つの共通の出力形式に解析しようとする Tencent の取り組みとも並ぶものだ(関連記事)。
- 論文
- CodeCap-Bench: Can Code Serve as a Good Video Caption?
- 著者
- Jiafu Tang, Yifan Xu, Eric Tang, Junjie Zhao, Shipeng Luo, Te Sun et al.
- 掲載
- arXiv プレプリント(査読前) · 2026年10月27日
- リンク
- arxiv.org/abs/2610.37341
- 英語版
- Benchmark asks AI models to caption videos as code that can redraw them


