←Agency
    Agency · AI 代理評測 · 8 分鐘

    AI 代理最多只完整完成四分之一專家打造的專業任務

    一套取材自 55 類數位工作真實專案的基準測試發現,表現最好的代理配置完整通過 24% 的公開任務,最難的任務則幾乎全數未通過。

    2026年11月7日 · arXiv 預印本(未經同儕審查)
    手術醫師, 藍光
    Photo: Navy Medicine

    Agents' Last Exam(ALE)是一套基準測試,也就是一組固定的測試任務,加上事先約定好的評分方式;它的題目取材自專業人士已經在電腦上完成的工作。Yiyou Sun 與共同作者在一篇 2026 年、尚未經同儕審查的預印本中介紹了 ALE。這套測試由超過 250 名領域專家參與開發,涵蓋 13 個產業群、55 類工作。專家提交的是自己已經完成的專案,往往代表數天甚至數週的工作量。最後得到 1,490 個任務實例,大多數由自動檢查評分,而不是交給人類或 AI 評審。在公開的部分,表現最好的代理配置完整完成了 24.0% 的任務;在最難的一級,主流配置的平均完整通過率不到 1%。

    作者從一個謎題出發。AI 系統不斷攻克遊戲、奧林匹亞數學和程式競賽中備受矚目的測驗,但依他們的說法,對經濟的影響卻出奇有限。他們認為,這在很大程度上是評測的問題,因為熱門的基準測試並不衡量 AI 在冗長、具經濟價值的工作流程中能否持續表現。他們指出三個障礙:真實的工作流程蒐集成本高;要廣泛涵蓋各產業,需要長期取得專家協助;而試算表、設計稿、報告這類真實的交付成果,很難自動檢查。結果是,現有的基準測試往往得在真實性、廣度或可驗證性之間犧牲一項。ALE 試圖三者兼顧。它設下的標準很高:代理必須交出專業人士的成品,而不只是回答問題或完成簡短的電腦雜務。

    運作方式

    作者以美國政府的職業分類 SOC 2018 及其配套資料庫 O*NET 為起點,把以軟體進行、工作流程相近的職業歸成 13 個領域、55 個子領域,並排除核心工作並非實質數位化的產業。專家透過網頁入口提交專案,寫明任務說明、輸入檔案、指定使用的軟體、預期的交付成果,以及評估方式。每份提交接著要經過類似學術會議的初審、由工程師實作並試跑,最後再由專家委員會做同儕審查式的最終檢查。在 1,490 個實例中,960 個來自外部提交,530 個是委託製作。

    每個任務都是一支小程式,負責載入任務、啟動任務,並把結果評為 0 到 1 之間的分數。代理在遠端虛擬機上工作,機器上有四個資料夾:唯讀的輸入資料、它應該使用的軟體、它唯一可以寫入的輸出資料夾,以及一個隱藏起來、存放標準答案的參考資料夾。評分時會依交付成果的性質,用合適的方式比對輸出與參考答案,做法包括比對精確數值、在容許誤差內比對數字或表格、計算幾何距離、在固定的輸入序列下觀察所建系統的行為,以及用評分量表評估自由文字。各項檢查有兩種組合方式:像檢核表一樣取平均,或是「門檻加評分」。門檻加評分會先檢查一個必須通過的條件,例如檔案能不能打開;沒通過就是零分。只有在沒有確定性檢查可用時,例如影片、遊戲截圖和渲染出的場景,才會讓具備視覺能力的語言模型擔任評審,而且只回答範圍很窄的是非題。

    受測的系統是作者所說的通用型電腦操作代理(generalist computer-use agents),既能操作圖形介面應用程式,也能在同一個迴圈裡執行程式碼、shell 指令和檔案操作。Claude Code、Codex、OpenClaw 等熱門的代理 harness 都是圍繞命令列打造的。harness 指的是包在語言模型外面的軟體,負責執行模型的迴圈、提供工具並管理工作脈絡。作者透過 MCP(Model Context Protocol,一種把工具接上代理的標準方式),把每個 harness 接上 14 種桌面操作工具。無法讀取影像的模型,則把畫面上的工作交給另一個視覺模型,由它擔任子代理。作者也打造了 ALE-Claw,這是 OpenClaw harness 的精簡版,拿掉了長期記憶和使用者偏好功能。

    只有 150 個實例公開,大約十分之一。其餘大多保持不公開,預計隨時間輪替釋出。這是為了減少資料汙染,也就是模型在訓練時就看過測試題目,因而拿到名不副實的高分。

    證據顯示了什麼

    主要結果來自三個公開的難度級別。Near-Term 有 67 個受測代理能部分解決的任務;Full-Spectrum 有 55 個任務,每個子領域至少一個;Last-Exam 則收錄最難的 38 個。論文同時報告完整通過率(拿到滿分的任務比例)和平均分數(把部分分數也平均進去)。每次執行的上限是 5 小時。Codex 搭配 GPT-5.5 以整體 24.0% 居首:Near-Term 通過 38.1%、Full-Spectrum 22.7%、Last-Exam 為零,平均分數分別是 64.7、36.0 和 11.2。緊追在後的有 ALE-Claw 搭配 GPT-5.5(23.0%)、Claude Code 搭配 Claude Fable 5(22.0%)、三種 Cursor 配置(20.4% 到 20.7%),以及 Droid 搭配 GPT-5.5(19.1%)。Codex 搭配 GPT-5.4(7.2%)和 Grok CLI 搭配 Grok 4.3(6.6%)則落後。在 Last-Exam 上,只有四種配置通過了任務,各一個,最佳平均分數是 12.8。

    為了區分模型和 harness 各自的影響,作者在 OpenClaw 裡跑了 14 個模型。GPT-5.5(21.1%)和 GPT-5.4(20.5%)領先,其次是 Claude Opus 4.7(15.1%),Grok 4.3 以 4.3% 墊底。14 個模型沒有一個通過任何 Last-Exam 任務。固定模型、只換 harness,結果仍會變動:GPT-5.5 從 Droid 的 19.1% 到 Codex 的 24.0%,Opus 4.7 則從 Droid 的 12.8% 到 Cursor 的 20.4%。作者的結論是,在工程做得好的系統之間,模型選擇造成的結果差距,大約是 harness 選擇的三倍。不過他們自己的表格裡就有一個明顯的例外:GPT-5.4 在 OpenClaw 拿到 20.5%,在 ALE-Claw 是 11.8%,在 Codex 只有 7.2%。

    ALE-CLI 是只在 Linux 上執行的子集,開放給沒有螢幕存取能力的代理。在這個子集上,Codex 搭配 GPT-5.5 達到 23.3%;文中引用的數字是,同一組合在命令列基準測試 Terminal-Bench 上拿到 82%。只用命令列、搭配 Claude Sonnet 4.6 的代理,得分介於 9.0% 和 13.3% 之間。執行成本不低,前沿代理平均每個任務 3 到 10 美元,耗時數十分鐘到數小時。作者表示,花得多不見得能穩定換到更好的結果。把三個級別加總,Cursor 搭配 Composer 2.5 花了約 87 美元拿到 20.4%,Codex 搭配 GPT-5.5 約 570 美元拿到 24.0%,OpenClaw 搭配 Gemini 3.1 Pro 則花了約 3,133 美元,拿到 14.1%。

    行為面的分析讓結果更有層次。在公開任務中,有 34% 以圖形介面軟體為主要工具,但多數配置很少做圖形介面操作,而是退回使用 shell 指令。各領域的分數差異很大。以 Claude Fable 5 和 GPT-5.5 來說,計算數學和農業與環境大約在 55% 到 85%,商業和法律約 50% 到 55%,教育則低於 25%。作者也拆解了 Claude Code 搭配 Opus 4.7 的失敗原因:大約四分之三的失敗執行,源自誤解任務或選錯做法,而不是執行時出了小差錯。

    研究沒有顯示的

    受評的任務集不大。所有主要數字都建立在大約 150 到 160 個公開任務上,而論文各節列出的任務數彼此也略有出入。在 Last-Exam 上,一個任務就值 2.6 個百分點。由於運算成本,只有部分配置跑了不只一次。有三次執行紀錄的配置,分數的標準差可達 3 分,有一個代理甚至達到 5 分。因此,19% 到 24% 之間這群領先者的先後順序,並不是穩固的排名。至於公開任務能否代表更大的任務池,依據只是作者自己在附錄中做的檢查;而且全部實例中約有 22% 尚未通過品質檢查。

    測試條件也影響了數字。主要結果中的每個代理,都在原本的 harness 上加裝了作者自己的桌面工具橋接。有三個模型(DeepSeek V4 Pro、GLM 5.1 和 MiniMax M2.7)是透過視覺子代理來工作。5 小時的上限截斷了 3.8% 的執行,從輕量 harness 的約 1% 到 OpenClaw 的 5.7% 不等;另外,部分評分仰賴模型評審。作者說 ALE-Claw 的表現與 OpenClaw 相當,這對 GPT-5.5 和 Opus 4.7 成立,對 GPT-5.4 則不成立(11.8% 對 20.5%)。失敗原因的拆解只涵蓋一種配置。作者對各領域分數不均的解釋,是模型在不同領域的能力不均,以及接觸工具使用訓練的程度不一,但這只被當作可能的原因提出,並未經過檢驗。Terminal-Bench 的對照是拿一個引用來的數字和 ALE-CLI 相比,因此並非控制條件下的比較。

    對於經濟層面的論述,最重要的是論文沒有報告人類專家的基準表現,因此沒有量化這些任務對專業人士有多難。也沒有任何資料把分數和生產力連結起來。「代理在 ALE 上接近滿分,就代表經濟真正轉型」這個想法是一種期許,而不是研究發現。實體工作則在設計上就被排除在外。

    在既有研究中的位置

    作者把 ALE 和各有取捨的基準測試相比,包括 OSWorld 那種較短的電腦操作任務、合成環境、問答測驗,以及只限少數領域的基準測試;也包括 GDPval 和 Remote Labor Index 這類評估經濟工作、但仰賴人類評審的測試。作者形容,ALE 的任務範圍涵蓋了 OSWorld 這類只用圖形介面、以及 Terminal-Bench 這類只用命令列的基準測試。他們把 16 個既有基準測試對應到自己的分類上,發現 55 個子領域中有 13 個完全沒有被任何一個涵蓋。不過這項對應用的是語言模型輔助的分類器,可能不夠精確。

    作者拿 ImageNet 來類比;ImageNet 是電腦視覺領域長期用作基準測試的標註影像資料集。他們認為,一個領域一旦有了可驗證、廣泛使用的基準測試,進展往往會加速,實際部署也常隨之而來。他們也主張,業界常把電腦操作代理等同於只會在螢幕上點來點去的代理,並認為這種混為一談並不完整。他們還拿 ReAct 式的精簡迴圈(模型只是輪流推理和行動)和完整的 harness 做對比。在他們的結果中,同一個模型換了 harness,分數相差超過 13 個百分點。這也說明了他們為什麼把 harness 視為受測系統的一部分。

    就本系列而言,ALE 定下了衡量標準:持續完成具經濟價值的工作,並交出可以檢查的成品。以這把尺來量,2026 年受測表現最好的代理,完整完成的公開任務不到四分之一,最難的任務則幾乎一個也沒完成。

    論文
    Agents' Last Exam
    作者
    Yiyou Sun, Xinyang Han, Weichen Zhang, Yuanbo Pang, Tianyu Wang, Yuhan Cao, Yixiao Huang, Chris Duroiu, Haoyun Zhang, Jeffrey Lin, Weishu Zhang, Tyler Zeng et al.
    刊登
    arXiv 預印本(未經同儕審查) · 2026年6月3日
    連結
    arxiv.org/abs/2606.05405
    程式碼
    github.com/rdi-berkeley/agents-last-exam
    英文版
    AI agents fully finish at most a quarter of expert-built professional tasks

    中文版報導

    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · 果蠅求偶

    食物氣味加上群體動態,開啟一種果蠅的求偶行為

    2026 年一項 Nature 研究發現,Drosophila erecta 果蠅的雄蠅會被食物氣味引發性興奮,群體動態再加以放大;少了這樣的環境,就不會交配。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 串流影片生成

    用獎勵分數告訴快速影片模型該把訓練重點放在哪裡

    Stream-R1 依獎勵模型的評分,為每段訓練影片、每個影格和區域加權,在相同速度下於基準測試小幅勝過直接對照的基準方法。

    arXiv 預印本 · 2026年5月5日

    Photo: Pascal Bernardon

    Far Field · 黑洞純量雲

    偏心軌道放大輕粒子雲在黑洞訊號上留下的痕跡

    發表在 Physical Review Letters 的計算發現,偏心旋近在最內側軌道附近出現共振,會加強純量雲在重力波上留下的痕跡。

    Physical Review Letters · 2026年10月20日