AI 代理最多只完整完成四分之一專家打造的專業任務
一套取材自 55 類數位工作真實專案的基準測試發現,表現最好的代理配置完整通過 24% 的公開任務,最難的任務則幾乎全數未通過。

Agents' Last Exam(ALE)是一套基準測試,也就是一組固定的測試任務,加上事先約定好的評分方式;它的題目取材自專業人士已經在電腦上完成的工作。Yiyou Sun 與共同作者在一篇 2026 年、尚未經同儕審查的預印本中介紹了 ALE。這套測試由超過 250 名領域專家參與開發,涵蓋 13 個產業群、55 類工作。專家提交的是自己已經完成的專案,往往代表數天甚至數週的工作量。最後得到 1,490 個任務實例,大多數由自動檢查評分,而不是交給人類或 AI 評審。在公開的部分,表現最好的代理配置完整完成了 24.0% 的任務;在最難的一級,主流配置的平均完整通過率不到 1%。
作者從一個謎題出發。AI 系統不斷攻克遊戲、奧林匹亞數學和程式競賽中備受矚目的測驗,但依他們的說法,對經濟的影響卻出奇有限。他們認為,這在很大程度上是評測的問題,因為熱門的基準測試並不衡量 AI 在冗長、具經濟價值的工作流程中能否持續表現。他們指出三個障礙:真實的工作流程蒐集成本高;要廣泛涵蓋各產業,需要長期取得專家協助;而試算表、設計稿、報告這類真實的交付成果,很難自動檢查。結果是,現有的基準測試往往得在真實性、廣度或可驗證性之間犧牲一項。ALE 試圖三者兼顧。它設下的標準很高:代理必須交出專業人士的成品,而不只是回答問題或完成簡短的電腦雜務。
運作方式
作者以美國政府的職業分類 SOC 2018 及其配套資料庫 O*NET 為起點,把以軟體進行、工作流程相近的職業歸成 13 個領域、55 個子領域,並排除核心工作並非實質數位化的產業。專家透過網頁入口提交專案,寫明任務說明、輸入檔案、指定使用的軟體、預期的交付成果,以及評估方式。每份提交接著要經過類似學術會議的初審、由工程師實作並試跑,最後再由專家委員會做同儕審查式的最終檢查。在 1,490 個實例中,960 個來自外部提交,530 個是委託製作。
每個任務都是一支小程式,負責載入任務、啟動任務,並把結果評為 0 到 1 之間的分數。代理在遠端虛擬機上工作,機器上有四個資料夾:唯讀的輸入資料、它應該使用的軟體、它唯一可以寫入的輸出資料夾,以及一個隱藏起來、存放標準答案的參考資料夾。評分時會依交付成果的性質,用合適的方式比對輸出與參考答案,做法包括比對精確數值、在容許誤差內比對數字或表格、計算幾何距離、在固定的輸入序列下觀察所建系統的行為,以及用評分量表評估自由文字。各項檢查有兩種組合方式:像檢核表一樣取平均,或是「門檻加評分」。門檻加評分會先檢查一個必須通過的條件,例如檔案能不能打開;沒通過就是零分。只有在沒有確定性檢查可用時,例如影片、遊戲截圖和渲染出的場景,才會讓具備視覺能力的語言模型擔任評審,而且只回答範圍很窄的是非題。
受測的系統是作者所說的通用型電腦操作代理(generalist computer-use agents),既能操作圖形介面應用程式,也能在同一個迴圈裡執行程式碼、shell 指令和檔案操作。Claude Code、Codex、OpenClaw 等熱門的代理 harness 都是圍繞命令列打造的。harness 指的是包在語言模型外面的軟體,負責執行模型的迴圈、提供工具並管理工作脈絡。作者透過 MCP(Model Context Protocol,一種把工具接上代理的標準方式),把每個 harness 接上 14 種桌面操作工具。無法讀取影像的模型,則把畫面上的工作交給另一個視覺模型,由它擔任子代理。作者也打造了 ALE-Claw,這是 OpenClaw harness 的精簡版,拿掉了長期記憶和使用者偏好功能。
只有 150 個實例公開,大約十分之一。其餘大多保持不公開,預計隨時間輪替釋出。這是為了減少資料汙染,也就是模型在訓練時就看過測試題目,因而拿到名不副實的高分。
證據顯示了什麼
主要結果來自三個公開的難度級別。Near-Term 有 67 個受測代理能部分解決的任務;Full-Spectrum 有 55 個任務,每個子領域至少一個;Last-Exam 則收錄最難的 38 個。論文同時報告完整通過率(拿到滿分的任務比例)和平均分數(把部分分數也平均進去)。每次執行的上限是 5 小時。Codex 搭配 GPT-5.5 以整體 24.0% 居首:Near-Term 通過 38.1%、Full-Spectrum 22.7%、Last-Exam 為零,平均分數分別是 64.7、36.0 和 11.2。緊追在後的有 ALE-Claw 搭配 GPT-5.5(23.0%)、Claude Code 搭配 Claude Fable 5(22.0%)、三種 Cursor 配置(20.4% 到 20.7%),以及 Droid 搭配 GPT-5.5(19.1%)。Codex 搭配 GPT-5.4(7.2%)和 Grok CLI 搭配 Grok 4.3(6.6%)則落後。在 Last-Exam 上,只有四種配置通過了任務,各一個,最佳平均分數是 12.8。
為了區分模型和 harness 各自的影響,作者在 OpenClaw 裡跑了 14 個模型。GPT-5.5(21.1%)和 GPT-5.4(20.5%)領先,其次是 Claude Opus 4.7(15.1%),Grok 4.3 以 4.3% 墊底。14 個模型沒有一個通過任何 Last-Exam 任務。固定模型、只換 harness,結果仍會變動:GPT-5.5 從 Droid 的 19.1% 到 Codex 的 24.0%,Opus 4.7 則從 Droid 的 12.8% 到 Cursor 的 20.4%。作者的結論是,在工程做得好的系統之間,模型選擇造成的結果差距,大約是 harness 選擇的三倍。不過他們自己的表格裡就有一個明顯的例外:GPT-5.4 在 OpenClaw 拿到 20.5%,在 ALE-Claw 是 11.8%,在 Codex 只有 7.2%。
ALE-CLI 是只在 Linux 上執行的子集,開放給沒有螢幕存取能力的代理。在這個子集上,Codex 搭配 GPT-5.5 達到 23.3%;文中引用的數字是,同一組合在命令列基準測試 Terminal-Bench 上拿到 82%。只用命令列、搭配 Claude Sonnet 4.6 的代理,得分介於 9.0% 和 13.3% 之間。執行成本不低,前沿代理平均每個任務 3 到 10 美元,耗時數十分鐘到數小時。作者表示,花得多不見得能穩定換到更好的結果。把三個級別加總,Cursor 搭配 Composer 2.5 花了約 87 美元拿到 20.4%,Codex 搭配 GPT-5.5 約 570 美元拿到 24.0%,OpenClaw 搭配 Gemini 3.1 Pro 則花了約 3,133 美元,拿到 14.1%。
行為面的分析讓結果更有層次。在公開任務中,有 34% 以圖形介面軟體為主要工具,但多數配置很少做圖形介面操作,而是退回使用 shell 指令。各領域的分數差異很大。以 Claude Fable 5 和 GPT-5.5 來說,計算數學和農業與環境大約在 55% 到 85%,商業和法律約 50% 到 55%,教育則低於 25%。作者也拆解了 Claude Code 搭配 Opus 4.7 的失敗原因:大約四分之三的失敗執行,源自誤解任務或選錯做法,而不是執行時出了小差錯。
研究沒有顯示的
受評的任務集不大。所有主要數字都建立在大約 150 到 160 個公開任務上,而論文各節列出的任務數彼此也略有出入。在 Last-Exam 上,一個任務就值 2.6 個百分點。由於運算成本,只有部分配置跑了不只一次。有三次執行紀錄的配置,分數的標準差可達 3 分,有一個代理甚至達到 5 分。因此,19% 到 24% 之間這群領先者的先後順序,並不是穩固的排名。至於公開任務能否代表更大的任務池,依據只是作者自己在附錄中做的檢查;而且全部實例中約有 22% 尚未通過品質檢查。
測試條件也影響了數字。主要結果中的每個代理,都在原本的 harness 上加裝了作者自己的桌面工具橋接。有三個模型(DeepSeek V4 Pro、GLM 5.1 和 MiniMax M2.7)是透過視覺子代理來工作。5 小時的上限截斷了 3.8% 的執行,從輕量 harness 的約 1% 到 OpenClaw 的 5.7% 不等;另外,部分評分仰賴模型評審。作者說 ALE-Claw 的表現與 OpenClaw 相當,這對 GPT-5.5 和 Opus 4.7 成立,對 GPT-5.4 則不成立(11.8% 對 20.5%)。失敗原因的拆解只涵蓋一種配置。作者對各領域分數不均的解釋,是模型在不同領域的能力不均,以及接觸工具使用訓練的程度不一,但這只被當作可能的原因提出,並未經過檢驗。Terminal-Bench 的對照是拿一個引用來的數字和 ALE-CLI 相比,因此並非控制條件下的比較。
對於經濟層面的論述,最重要的是論文沒有報告人類專家的基準表現,因此沒有量化這些任務對專業人士有多難。也沒有任何資料把分數和生產力連結起來。「代理在 ALE 上接近滿分,就代表經濟真正轉型」這個想法是一種期許,而不是研究發現。實體工作則在設計上就被排除在外。
在既有研究中的位置
作者把 ALE 和各有取捨的基準測試相比,包括 OSWorld 那種較短的電腦操作任務、合成環境、問答測驗,以及只限少數領域的基準測試;也包括 GDPval 和 Remote Labor Index 這類評估經濟工作、但仰賴人類評審的測試。作者形容,ALE 的任務範圍涵蓋了 OSWorld 這類只用圖形介面、以及 Terminal-Bench 這類只用命令列的基準測試。他們把 16 個既有基準測試對應到自己的分類上,發現 55 個子領域中有 13 個完全沒有被任何一個涵蓋。不過這項對應用的是語言模型輔助的分類器,可能不夠精確。
作者拿 ImageNet 來類比;ImageNet 是電腦視覺領域長期用作基準測試的標註影像資料集。他們認為,一個領域一旦有了可驗證、廣泛使用的基準測試,進展往往會加速,實際部署也常隨之而來。他們也主張,業界常把電腦操作代理等同於只會在螢幕上點來點去的代理,並認為這種混為一談並不完整。他們還拿 ReAct 式的精簡迴圈(模型只是輪流推理和行動)和完整的 harness 做對比。在他們的結果中,同一個模型換了 harness,分數相差超過 13 個百分點。這也說明了他們為什麼把 harness 視為受測系統的一部分。
就本系列而言,ALE 定下了衡量標準:持續完成具經濟價值的工作,並交出可以檢查的成品。以這把尺來量,2026 年受測表現最好的代理,完整完成的公開任務不到四分之一,最難的任務則幾乎一個也沒完成。
- 論文
- Agents' Last Exam
- 作者
- Yiyou Sun, Xinyang Han, Weichen Zhang, Yuanbo Pang, Tianyu Wang, Yuhan Cao, Yixiao Huang, Chris Duroiu, Haoyun Zhang, Jeffrey Lin, Weishu Zhang, Tyler Zeng et al.
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年6月3日
- 連結
- arxiv.org/abs/2606.05405
- 程式碼
- github.com/rdi-berkeley/agents-last-exam
- 英文版
- AI agents fully finish at most a quarter of expert-built professional tasks


