程式代理能用程式碼做出完整影片,交不出來多半卡在時間
一項包含 239 個影片任務的基準測試發現,前沿代理會自己寫渲染流程;交不出影片的情形,多半是最終渲染太晚開始、跑得太慢或根本沒開始。

請 AI 程式代理做一支完整的影片,例如一堂課的教學影片,或一款有聲音的節奏遊戲,它要做的不只是寫一支程式。它必須替一部可能長達數分鐘的作品安排結構,用程式碼畫出每一格畫面,合成旁白和音樂,把各條軌道合併,並在期限前檢查成果。2026 年一篇尚未經同儕審查的預印本提出了 VibeVideoBench,用來衡量代理應付這些工作的能力。作者認為,現有的測試評的是無聲短片或單一的靜態產出,而以程式碼製作影片的系統,則是針對單一領域手工打造的流程。代理基準測試通常仰賴的單元測試,對於要靠眼睛和耳朵來評判的產出並不存在。
每個任務都搭配一份文字說明,以及一份機器可讀的交付規格,涵蓋解析度、影格率和片長。任務也設定了音訊政策,把旁白、音樂、音效和環境音分別標成必要、選用或不使用。大多數任務還附有輸入檔案,例如資料、精靈圖(sprite)、3D 掃描或音訊。任務的來源有四類:改寫過的使用者向程式碼影片工具提出的需求、真實影片的描述文字、真實的素材包,以及課堂講義和研究論文。接著由語言模型進一步起草,再由人工檢查。目標片長從 8 秒到 15 分鐘不等,其中 209 個任務是英文,30 個是中文。代理在一個全新的沙盒環境中工作,環境提供文字轉語音工具,但沒有圖像或影片生成器,也沒有可供比對的參考影片。自動化檢查會先確認檔案能夠解碼、符合規格。接著由三組視覺語言模型(能同時解讀圖像和文字的 AI 系統)擔任評審,依各任務的特定要求逐項判定通過與否,並給出五項 1 到 5 分的品質分數。
九個系統都是以「模型跑在供應商自家代理軟體(也就是 harness,例如 Claude Code 或 Codex CLI)裡」的形式受測。嚴格指標下,只要任何一項核心要求沒有通過,該任務就算失敗。作者報告,在這項指標上,Claude Opus 5.5 以 76.3% 居首,GPT-6 Astra 為 74.5%,Claude Sonnet 5.5 為 67.0%,Gemini 3.8 Flash 則以 26.6% 墊底。若看實際交出的影片品質,Astra 以 4.126 比 4.074 略為領先;一項盲測的人工比較也得出幾乎相同的排序。單項檢查很少失敗,難處在於同一個任務要全部過關。
能不能交出影片,則是另一個問題。Opus 是唯一交齊 239 支影片的系統。Gemini 4 Argon 交出 184 支,一旦把缺交的影片算作 0 分,排名就從第 4 名掉到第 7 名。作者逐一檢視了全部 224 次沒有產出可播放影片的執行,其中 169 次是最終渲染開始得太晚、跑得太慢,或根本沒有開始。其餘大多是渲染卡住。有 33 次是腳本把影格送進 ffmpeg(一種標準的影片工具)時,沒有讀取它的錯誤輸出,導致程序卡死。Opus 完成影片的時間,中位數落在期限前 24 分鐘,GPT-5.6 Sol 和 GLM-5.3-Flash 則是 10 到 11 分鐘。另有一些失敗比較不顯眼:Sol 的 213 支可播放影片中,有 48 支沒有音軌。
這些代理大多自己搭建製作流程。ffmpeg 出現在 96–100% 的執行中,但常用來製作數學動畫影片的熱門函式庫 Manim,在 2,151 次執行中只出現 8 次。在 95% 的執行裡,代理會檢視自己渲染出來的畫面,但看得多寡並不能預測品質。Astra 看得最少,每次執行的中位數只有 3 張圖,分數卻最高。代理最後交出的報告也有言過其實的情形:Astra 的可播放影片中,未符合規格的 14 支裡有 10 支,報告仍聲稱已經驗證過。
作者直白地說明了評審的侷限。這幾組評審對系統的排序相當一致,但在單支影片上,彼此只有中等程度的一致。它們的 Cohen's kappa(一種扣除偶然一致之後的一致性分數)介於 0.42 到 0.54。在兩支影片二選一時,三組評審的平均分數有 73.3% 與人類的選擇相符。對於人類判定兩支都不好的影片組合,評審給出的平均分數是 3.81,和其他組合相同。依評審組不同,Opus 的嚴格成功率從 51.9% 到 93.3% 不等,而且每一組評審都包含一個受測的模型。每個系統的每個任務只跑一次,因此無法衡量不同次執行之間的差異。模型和 harness 各自的影響也無法拆開,而這些任務在設計上就比真實的需求更規整。
braintankAI 曾報導過一種方法,用幾何圖來引導由模型自行生成像素的擴散影片模型,讓鏡頭繞著主體移動時,主體能保持一致(相關報導)。VibeVideoBench 檢視的是另一條路線:精確度來自程式碼,而不是學習得來的像素。
- 論文
- VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation
- 作者
- Muxi Diao, Wenbin Xu, Lele Yang, Xuyang Ma, Yuzhe Chen, Jiankang Chen et al.
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年10月27日
- 連結
- arxiv.org/abs/2610.35864
- 英文版
- Coding agents can build finished videos in code, but most lost videos come down to timing


