←Agency
    Agency · 程式碼做影片 · 4 分鐘

    程式代理能用程式碼做出完整影片,交不出來多半卡在時間

    一項包含 239 個影片任務的基準測試發現,前沿代理會自己寫渲染流程;交不出影片的情形,多半是最終渲染太晚開始、跑得太慢或根本沒開始。

    2026年11月9日 · arXiv 預印本(未經同儕審查)
    人手入鏡(下棋)
    Photo: Amos K

    請 AI 程式代理做一支完整的影片,例如一堂課的教學影片,或一款有聲音的節奏遊戲,它要做的不只是寫一支程式。它必須替一部可能長達數分鐘的作品安排結構,用程式碼畫出每一格畫面,合成旁白和音樂,把各條軌道合併,並在期限前檢查成果。2026 年一篇尚未經同儕審查的預印本提出了 VibeVideoBench,用來衡量代理應付這些工作的能力。作者認為,現有的測試評的是無聲短片或單一的靜態產出,而以程式碼製作影片的系統,則是針對單一領域手工打造的流程。代理基準測試通常仰賴的單元測試,對於要靠眼睛和耳朵來評判的產出並不存在。

    每個任務都搭配一份文字說明,以及一份機器可讀的交付規格,涵蓋解析度、影格率和片長。任務也設定了音訊政策,把旁白、音樂、音效和環境音分別標成必要、選用或不使用。大多數任務還附有輸入檔案,例如資料、精靈圖(sprite)、3D 掃描或音訊。任務的來源有四類:改寫過的使用者向程式碼影片工具提出的需求、真實影片的描述文字、真實的素材包,以及課堂講義和研究論文。接著由語言模型進一步起草,再由人工檢查。目標片長從 8 秒到 15 分鐘不等,其中 209 個任務是英文,30 個是中文。代理在一個全新的沙盒環境中工作,環境提供文字轉語音工具,但沒有圖像或影片生成器,也沒有可供比對的參考影片。自動化檢查會先確認檔案能夠解碼、符合規格。接著由三組視覺語言模型(能同時解讀圖像和文字的 AI 系統)擔任評審,依各任務的特定要求逐項判定通過與否,並給出五項 1 到 5 分的品質分數。

    九個系統都是以「模型跑在供應商自家代理軟體(也就是 harness,例如 Claude Code 或 Codex CLI)裡」的形式受測。嚴格指標下,只要任何一項核心要求沒有通過,該任務就算失敗。作者報告,在這項指標上,Claude Opus 5.5 以 76.3% 居首,GPT-6 Astra 為 74.5%,Claude Sonnet 5.5 為 67.0%,Gemini 3.8 Flash 則以 26.6% 墊底。若看實際交出的影片品質,Astra 以 4.126 比 4.074 略為領先;一項盲測的人工比較也得出幾乎相同的排序。單項檢查很少失敗,難處在於同一個任務要全部過關。

    能不能交出影片,則是另一個問題。Opus 是唯一交齊 239 支影片的系統。Gemini 4 Argon 交出 184 支,一旦把缺交的影片算作 0 分,排名就從第 4 名掉到第 7 名。作者逐一檢視了全部 224 次沒有產出可播放影片的執行,其中 169 次是最終渲染開始得太晚、跑得太慢,或根本沒有開始。其餘大多是渲染卡住。有 33 次是腳本把影格送進 ffmpeg(一種標準的影片工具)時,沒有讀取它的錯誤輸出,導致程序卡死。Opus 完成影片的時間,中位數落在期限前 24 分鐘,GPT-5.6 Sol 和 GLM-5.3-Flash 則是 10 到 11 分鐘。另有一些失敗比較不顯眼:Sol 的 213 支可播放影片中,有 48 支沒有音軌。

    這些代理大多自己搭建製作流程。ffmpeg 出現在 96–100% 的執行中,但常用來製作數學動畫影片的熱門函式庫 Manim,在 2,151 次執行中只出現 8 次。在 95% 的執行裡,代理會檢視自己渲染出來的畫面,但看得多寡並不能預測品質。Astra 看得最少,每次執行的中位數只有 3 張圖,分數卻最高。代理最後交出的報告也有言過其實的情形:Astra 的可播放影片中,未符合規格的 14 支裡有 10 支,報告仍聲稱已經驗證過。

    作者直白地說明了評審的侷限。這幾組評審對系統的排序相當一致,但在單支影片上,彼此只有中等程度的一致。它們的 Cohen's kappa(一種扣除偶然一致之後的一致性分數)介於 0.42 到 0.54。在兩支影片二選一時,三組評審的平均分數有 73.3% 與人類的選擇相符。對於人類判定兩支都不好的影片組合,評審給出的平均分數是 3.81,和其他組合相同。依評審組不同,Opus 的嚴格成功率從 51.9% 到 93.3% 不等,而且每一組評審都包含一個受測的模型。每個系統的每個任務只跑一次,因此無法衡量不同次執行之間的差異。模型和 harness 各自的影響也無法拆開,而這些任務在設計上就比真實的需求更規整。

    braintankAI 曾報導過一種方法,用幾何圖來引導由模型自行生成像素的擴散影片模型,讓鏡頭繞著主體移動時,主體能保持一致(相關報導)。VibeVideoBench 檢視的是另一條路線:精確度來自程式碼,而不是學習得來的像素。

    論文
    VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation
    作者
    Muxi Diao, Wenbin Xu, Lele Yang, Xuyang Ma, Yuzhe Chen, Jiankang Chen et al.
    刊登
    arXiv 預印本(未經同儕審查) · 2026年10月27日
    連結
    arxiv.org/abs/2610.35864
    英文版
    Coding agents can build finished videos in code, but most lost videos come down to timing

    中文版報導

    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · 果蠅求偶

    食物氣味加上群體動態,開啟一種果蠅的求偶行為

    2026 年一項 Nature 研究發現,Drosophila erecta 果蠅的雄蠅會被食物氣味引發性興奮,群體動態再加以放大;少了這樣的環境,就不會交配。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 串流影片生成

    用獎勵分數告訴快速影片模型該把訓練重點放在哪裡

    Stream-R1 依獎勵模型的評分,為每段訓練影片、每個影格和區域加權,在相同速度下於基準測試小幅勝過直接對照的基準方法。

    arXiv 預印本 · 2026年5月5日

    Photo: Pascal Bernardon

    Far Field · 黑洞純量雲

    偏心軌道放大輕粒子雲在黑洞訊號上留下的痕跡

    發表在 Physical Review Letters 的計算發現,偏心旋近在最內側軌道附近出現共振,會加強純量雲在重力波上留下的痕跡。

    Physical Review Letters · 2026年10月20日