基準測試要 AI 模型把影片寫成能重畫的程式碼字幕
CodeCap-Bench 評估多模態 AI 模型寫出的程式,能多忠實地重新渲染 323 支 2D 短片,結果發現動態一貫比靜態細節更難掌握。

影片字幕的用意是保留片段所呈現的內容,但一般的句子很難精確記錄東西在哪裡、怎麼移動、何時改變。一篇 2026 年、尚未經同儕審查的預印本測試了另一種做法:用一段可執行的程式來描述影片,由程式畫出其中的形狀、文字和版面,並把運動寫成時間的函數,執行程式碼就應該能重現原片。論文中有一個示範例子,用一條平滑曲線來控制捲動,說明程式碼可以把某個元素在任一時刻的位置確定下來。由於這種字幕可以渲染出來、和原片並排比對,它忠不忠實可以直接檢查。作者表示,在這項研究之前,還沒有專門的測試來檢驗多模態大型語言模型(MLLM,除了文字也能讀取圖像或影片的系統)能否寫出這樣的字幕。
他們建立的基準測試 CodeCap-Bench,從 Bilibili、YouTube、Behance 和 Vimeo 等平台取得 323 支影片,分屬五類結構化 2D 內容,例如桌面與應用程式介面、資料視覺化。以複雜 3D 視角、細緻紋理或密集像素級運動為主的片段都被篩掉。這些影片平均長 19.0 秒,較早的動畫轉程式碼基準 Animation2Code 則是 5.1 秒。每支影片平均有 16.8 個標註物件,以及 8.6 個經人工審查的焦點(focal point),也就是值得檢查的細節,分成靜態(外觀、版面、文字)與動態(狀態變化、移動、時間點)兩種。模型必須在純程式碼設定下作業,所有東西都得自己畫,不能直接貼上原片的影格。
評分分成三層。第一層用預訓練的影片模型 V-JEPA 2.1,比較原片與重建片的整體外觀。第二層是物件層級的指標,逐格檢查每個物件在兩支影片中的邊界框(bounding box)重疊得有多好,由 GPT-6-sol 找出物件位置,再由分割模型 SAM 3.1 描出輪廓。最後由 GPT-6-sol 為每個焦點打 0 到 5 分。無法渲染的程式碼,所有項目都記 0 分。在四個模型針對 50 支參考影片產生的輸出上,AI 評審的分數與人工評分的 Pearson 相關係數為 0.942(1 代表完全一致)。
研究共測試 7 個模型,一種方式是根據每秒取樣 2 張的影格一次生成,另一種是以代理(agent)的身分在工具框架(Pi Agent、Codex、Claude Code)裡作業,模型可以在其中查看影格、渲染草稿並修改。GPT-6-astra 在兩種設定下的整體保留分數都居首;搭配 Codex 時,整體保留分數達 73.24,渲染成功率 99.4%,作者指出它比第二名、搭配 Pi Agent 的 Opus-5(58.84)高出 14.40 分。能渲染不等於忠實:GPT-6-sol 搭配 Codex 每支影片都渲染成功,分數卻是 51.34。在所有配置中,動態細節的表現都不如靜態細節,即使是第一名也是 68.61 對 80.72。代理框架提高了成功率,卻不一定提高忠實度;GPT-6-sol 不用框架時得到 53.08,高於它搭配 Codex 和 Pi Agent 的結果。把 GPT-6-sol 的思考強度(thinking effort)從 medium 調到 xhigh,保留分數從 47.53 升到 63.29,每支影片的平均成本則從 0.315 美元增加到 1.409 美元。工具呼叫次數多也不代表結果好:Gemini-3.8-flash 每支影片呼叫工具 99.6 次,得分 47.73;GPT-6-astra 呼叫 47.4 次,得分 72.87。
為了檢驗這個前提本身,作者比較了程式碼字幕和文字字幕。他們從三個既有的問答資料集取出 100 支影片,由 Gemini-3.8-flash 根據程式碼渲染出的影片或文字字幕來作答。Opus-5 的程式碼字幕讓正確率達到 83.02%,接近直接看原片的 83.96%,它的文字字幕則是 72.64%;GPT-5.6-sol 的差距較小,為 76.42% 對 73.58%。在重建測試中,文字字幕交由影片生成模型 Seedance-2.5 轉成影片,結果程式碼在外觀上明顯勝出,但在一項運動指標上只小幅領先。
研究設計限制了這些比較能說明的範圍。基準測試刻意只保留適合用程式繪製的內容;GPT-6-sol 既是受測模型,也是主要評審,而更換評審的檢驗只做了兩個模型;論文沒有報告以人工檢查自動化物件重疊流程在渲染影片上的表現;也沒有報告重複執行或顯著性檢定。問答測試中,作答模型一邊拿到的是影片,另一邊是文字;重建測試衡量的則是文字字幕加上影片生成模型的整體表現,而不是字幕本身。
模型在運動上的弱點,呼應 braintankAI 的另一篇報導:以空間資料訓練的影片模型,處理某些關係比其他關係好,直到訓練方式重新調整才改變(相關報導)。用單一可執行描述來表達內容的構想,也可以和騰訊把文件、圖像與影片解析成同一種共用輸出格式的嘗試放在一起看(相關報導)。
- 論文
- CodeCap-Bench: Can Code Serve as a Good Video Caption?
- 作者
- Jiafu Tang, Yifan Xu, Eric Tang, Junjie Zhao, Shipeng Luo, Te Sun et al.
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年10月27日
- 連結
- arxiv.org/abs/2610.37341
- 英文版
- Benchmark asks AI models to caption videos as code that can redraw them


