←Agency
    Agency · エージェント評価 · 9分

    AI エージェントが完遂できる専門家の実務タスクは最大でも4分の1

    55種類のデジタル業務の実案件から作ったベンチマークで、最良のエージェント構成でも公開タスクの24%しか完全に合格せず、最難関のタスクにはほぼ合格できなかった。

    2026年11月7日 · arXiv プレプリント(査読前)
    手術醫師, 藍光
    Photo: Navy Medicine

    Agents' Last Exam(ALE)は、専門家がすでにコンピューター上でこなした仕事をもとに作られたベンチマーク(決まった試験タスクの集合と、合意された採点方法の組み合わせ)である。2026年に Yiyou Sun らが発表した、査読を経ていないプレプリントで報告された。250人を超える各分野の専門家とともに開発され、13の業界クラスターにまたがる55種類の仕事を扱う。専門家たちは自分がすでに完了させたプロジェクトを提出しており、その多くは数日から数週間分の労力に相当する。こうして集まったのが1490件のタスクインスタンスで、その大半は人間や AI の審査員ではなく自動チェックで採点される。公開部分では、最も成績のよいエージェント構成でも、完全にやり遂げたタスクは24.0%だった。最難関の層では、主要な構成の完全合格率の平均は1%未満だった。

    著者らが出発点とするのは、ひとつの謎だ。AI システムはゲームや数学オリンピック、競技プログラミングで注目を集めるテストを次々と突破しているのに、著者らの見るところ、経済的な影響は意外なほど限られている。著者らは、これは主に評価の問題だと論じる。よく使われるベンチマークは、長く経済的価値のある一連の業務を持続的にこなす力を測っていないからだ。著者らは3つの障害を挙げる。本物の業務フローは集めるのに費用がかかり、幅広い業界を網羅するには専門家の協力を継続的に得る必要があり、表計算ファイルやデザイン、報告書といった実際の成果物は自動で確認しにくい。その結果、既存のベンチマークは現実性、幅広さ、検証可能性のいずれかを犠牲にしがちである。ALE はこの3つすべての両立を目指す。求める水準は高い。エージェントは質問に答えたり短いコンピューター作業を片づけたりするだけでなく、専門家の完成品を納めなければならない。

    仕組み

    著者らは、米国政府の職業分類 SOC 2018 と、それに付随するデータベース O*NET を出発点にした。ソフトウェアを使う業務の流れが似た職業をまとめて13の領域と55の下位領域に分け、中核の仕事が実質的にデジタルではない業種は除いた。専門家はウェブポータルからプロジェクトを提出し、タスクの説明、入力ファイル、使うべきソフトウェア、期待される成果物、評価方法を指定した。提出物はその後、学会形式の一次審査、エンジニアによる試行を含む実装作業、専門家委員会によるピアレビュー形式の最終確認を経た。1490件のインスタンスのうち、960件は外部からの提出、530件は委託して作成したものだ。

    各タスクは小さなプログラムで、タスクを読み込み、開始し、結果を0から1の間のスコアとして評価する。エージェントは遠隔の仮想マシン上で作業し、そこには4つのフォルダーがある。読み取り専用の入力、使うべきソフトウェア、エージェントが唯一書き込める出力フォルダー、そして正解を収めた非公開の参照フォルダーだ。採点では、成果物に合った方法で出力と参照を比較する。厳密な値の一致、許容誤差の範囲内での数値や表の一致、幾何学的な距離、決まった入力の流れを与えたときに構築されたシステムがどう振る舞うか、自由記述に対する評価基準(ルーブリック)などがある。チェックはチェックリストとして平均されるか、「ゲート・アンド・スコア」として組み合わされる。ゲート・アンド・スコアでは、ファイルがそもそも開けるかといった必須条件を先に確かめ、満たさなければスコアは0になる。画像を扱える言語モデルが審査役を務めるのは、動画やゲームのスクリーンショット、レンダリングされた場面など、決定論的なチェックが存在しない場合に限られ、その場合も「はい」か「いいえ」で答える狭い質問だけに使われる。

    試験対象は、著者らが汎用コンピューター利用エージェントと呼ぶシステムだ。グラフィカルなアプリケーションを操作できるうえ、コードやシェルコマンドの実行、ファイル操作も1つのループの中でこなす。Claude Code、Codex、OpenClaw といった広く使われるエージェントハーネスは、コマンドラインを中心に作られている。ハーネスとは、言語モデルを包んでそのループを回し、ツールを与え、作業中の文脈を管理するソフトウェアのことだ。著者らは各ハーネスに、エージェントにツールを接続する標準的な方法である MCP(Model Context Protocol)を通じて、14種類のデスクトップ操作ツールをつないだ。画像を読めないモデルは、画面上の作業を、サブエージェントとして働く別の視覚モデルに任せる。著者らはさらに、OpenClaw ハーネスから長期記憶やユーザーの好みに関する機能を除いた簡略版、ALE-Claw も作った。

    公開されているのは150件、全体の約10分の1にすぎない。残りの大半は非公開とされ、時間をかけて順次公開側に回していく予定だ。モデルが学習中に試験タスクを目にし、本来とは違う理由で高得点を取ってしまう「汚染」を抑えるためである。

    結果が示すこと

    主な結果は、公開された3つの層から得られた。Near-Term は試験したエージェントが部分的に解ける67件、Full-Spectrum は下位領域ごとに少なくとも1件を含む55件、Last-Exam は最難関の38件である。論文は、満点を得たタスクの割合である完全合格率と、部分点を平均した平均スコアを並べて報告している。各実行には5時間の上限が設けられた。首位は GPT-5.5 を使った Codex で、全体で24.0%だった。Near-Term の38.1%、Full-Spectrum の22.7%に合格し、Last-Exam には1件も合格しなかった。平均スコアはそれぞれ64.7、36.0、11.2である。僅差で続いたのが GPT-5.5 の ALE-Claw(23.0%)、Claude Fable 5 の Claude Code(22.0%)、Cursor の3つの構成(20.4〜20.7%)、GPT-5.5 の Droid(19.1%)だった。GPT-5.4 の Codex(7.2%)と Grok 4.3 の Grok CLI(6.6%)は後れを取った。Last-Exam で何らかのタスクに合格したのは4つの構成だけで、いずれも1件ずつにとどまり、最高の平均スコアは12.8だった。

    モデルの効果とハーネスの効果を切り分けるため、著者らは OpenClaw の中で14のモデルを動かした。首位は GPT-5.5(21.1%)と GPT-5.4(20.5%)で、Claude Opus 4.7(15.1%)が続き、最下位は Grok 4.3 の4.3%だった。14モデルのどれも Last-Exam のタスクには合格しなかった。モデルを固定してハーネスを替えても、結果は動いた。GPT-5.5 は Droid の19.1%から Codex の24.0%まで、Opus 4.7 は Droid の12.8%から Cursor の20.4%までの幅があった。著者らは、よく作り込まれたシステムの間では、モデルの選択による結果のばらつきがハーネスの選択によるばらつきのおよそ3倍になると結論づけている。ただし、著者ら自身の表には際立った例外がある。GPT-5.4 は OpenClaw で20.5%、ALE-Claw で11.8%、Codex で7.2%だった。

    ALE-CLI は Linux だけで完結する部分集合で、画面にアクセスできないエージェントも挑める。ここで GPT-5.5 の Codex は23.3%だった。コマンドライン向けベンチマークの Terminal-Bench では、同じ組み合わせについて82%という数字が引用されている。Claude Sonnet 4.6 を使うコマンドライン専用のエージェントは9.0〜13.3%だった。実行には費用がかかり、最先端のエージェントでタスク1件あたり平均3〜10ドル、時間は数十分から数時間に及ぶ。著者らは、より多くの費用をかけても確実によい結果が得られるわけではないと報告している。3つの層の合計で、Composer 2.5 の Cursor は約87ドルで20.4%、GPT-5.5 の Codex は約570ドルで24.0%、Gemini 3.1 Pro の OpenClaw は約3133ドルで14.1%だった。

    行動の分析からは、さらに細かな様子が見えてくる。公開タスクの34%ではグラフィカルなソフトウェアが主な道具とされているのに、ほとんどの構成はグラフィカルな操作をあまり行わず、シェルコマンドに頼っていた。スコアは領域によって大きく異なった。Claude Fable 5 と GPT-5.5 では、計算数学や農業・環境がおよそ55〜85%、ビジネスと法務が約50〜55%だった一方、教育は25%未満だった。著者らは Opus 4.7 を使った Claude Code について失敗の内訳も調べた。失敗した実行のおよそ4分の3は、実行時のつまずきではなく、タスクの誤解や誤った方針の選択に起因していた。

    示していないこと

    評価に使われたタスクは少ない。主要な数字はすべて約150〜160件の公開タスクに基づいており、その件数は論文の節によってわずかに食い違っている。Last-Exam では、1件のタスクが2.6ポイントに相当する。計算コストのため、複数回実行されたのは一部の構成だけだった。3回の実行があるものでは、スコアの標準偏差が3ポイント、あるエージェントでは5ポイントに達する。したがって、19〜24%に並ぶ上位グループ内の順位は確かなランキングとはいえない。公開タスクがより大きなタスク群を代表しているという主張は、付録での著者ら自身の確認に基づいており、全インスタンスの約22%はまだ品質チェックが済んでいなかった。

    試験条件も数字を左右する。主な結果のエージェントはすべて、著者ら独自のデスクトップツール接続をハーネスに追加して動いていた。3つのモデル(DeepSeek V4 Pro、GLM 5.1、MiniMax M2.7)は視覚サブエージェントを介して作業した。5時間の上限で打ち切られた実行は3.8%で、軽量なハーネスの約1%から OpenClaw の5.7%まで幅があり、採点の一部はモデルによる審査に頼っている。著者らは ALE-Claw が OpenClaw と同等の性能を示すとしている。これは GPT-5.5 と Opus 4.7 では当てはまるが、GPT-5.4 では当てはまらない(11.8%と20.5%)。失敗の内訳は1つの構成しか扱っていない。領域ごとのスコアのばらつきについて著者らは、領域によってモデルの能力に差があることと、ツール利用の訓練に触れた度合いに差があることを理由に挙げるが、これは検証された結論ではなく、可能性の高い説明として示されている。Terminal-Bench との対比は、引用された1つの数字を ALE-CLI と並べたもので、条件をそろえた比較ではない。

    経済的な意義という観点で最も重要なのは、人間の専門家による基準値が報告されていないことだ。そのため論文は、タスクが専門家にとってどれほど難しいかを定量化していない。スコアを生産性と結びつけるものも何もない。ALE が飽和すれば、つまりほぼ解き尽くされれば、実際の経済的変革の兆しになるという考えは、願望であって知見ではない。物理的な作業は設計上、対象外である。

    位置づけ

    著者らは ALE を、それぞれ何かを犠牲にしている既存のベンチマークと対比している。OSWorld のより短いコンピューター利用タスク、合成環境、質問応答型のテスト、少数の領域に限られたベンチマークなどだ。人間の審査員に頼る GDPval や Remote Labor Index のような経済的業務の評価も含まれる。著者らは、ALE のタスクが扱う範囲は、OSWorld のようなグラフィカル操作のみのベンチマークと、Terminal-Bench のようなコマンドラインのみのベンチマークの両方を包含すると説明する。16の先行ベンチマークを自分たちの分類に当てはめたところ、55の下位領域のうち13はどれにも含まれていなかった。この対応づけには言語モデルの支援を受けた分類器が使われており、正確でない可能性がある。

    著者らは、コンピュータービジョンの分野で長くベンチマークとして使われてきたラベル付き画像集 ImageNet になぞらえる。ある分野に検証可能で広く使われるベンチマークができると進歩が加速しやすく、実用化が続くことも多いという主張だ。また、業界はコンピューター利用エージェントを、画面をクリックして進むだけのエージェントと同一視しがちだとし、この混同を不完全だと評している。さらに、モデルが推論と行動を交互に繰り返すだけの簡素な ReAct 型のループと、完全なハーネスとを対比する。著者らの結果では、1つのモデルのスコアがハーネスによって13ポイント超も変わった。著者らがハーネスを試験対象のシステムの一部として扱う理由は、ここにある。

    このシリーズでは、ALE が物差しとなる。持続的で経済的価値のある仕事を、確認可能な完成品として納めることだ。その物差しで測ると、2026年に試された最良のエージェントが完全にやり遂げた公開タスクは4分の1にわずかに届かず、最難関のタスクはほとんどやり遂げられなかった。

    論文
    Agents' Last Exam
    著者
    Yiyou Sun, Xinyang Han, Weichen Zhang, Yuanbo Pang, Tianyu Wang, Yuhan Cao, Yixiao Huang, Chris Duroiu, Haoyun Zhang, Jeffrey Lin, Weishu Zhang, Tyler Zeng et al.
    掲載
    arXiv プレプリント(査読前) · 2026年6月3日
    リンク
    arxiv.org/abs/2606.05405
    コード
    github.com/rdi-berkeley/agents-last-exam
    英語版
    AI agents fully finish at most a quarter of expert-built professional tasks

    日本語版の記事

    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables
    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables

    Physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables · Photo: Devon Rogers

    Substrate · 交替磁性

    正味の磁化がない磁性体 MnTe で、スピン分裂した電子バンドを観測

    テルル化マンガンの光電子分光を計算と照合した結果、共線磁性体の第3の分類として提案されている交替磁性体に予測されたスピン分裂が確認された。

    Nature · 2024年2月14日
    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · ハエの求愛行動

    食べ物のにおいと群れの動きが、あるショウジョウバエの求愛を始動させる

    2026年の Nature 論文によれば、Drosophila erecta では食べ物のにおいが雄の性的興奮を引き起こし、群れの動きがそれを強めるため、この環境がなければ交尾は起きない。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 動画生成の蒸留

    報酬モデルの採点で高速動画モデルの学習の重点を決める

    Stream-R1 は学習用の動画、フレーム、領域ごとに報酬モデルの判定で重みを付け、同じ速度のまま直接の比較対象をベンチマークでわずかに上回った。

    arXiv プレプリント · 2026年5月5日