コーディングエージェントの足場、どの部品が効くかを1つずつ検証
Zoom と米国の大学の研究者らが1つのコーディングエージェントで計画、ツール、コンテキスト処理を入れ替え、各部品の価値はモデルやタスク、予算で変わることを示した。

AI のコーディングエージェントを比べるとき、人は普通、製品全体を比べる。あるシステムは言語モデルに特定のツール群、計画の立て方、膨らんでいく自らの履歴の扱い方を組み合わせ、別のシステムは別のモデルに、この3つすべてで異なる選択を組み合わせる。ベンチマークで一方が上回っても、その理由を言うのは難しい。計画のおかげか。ツールか。記憶の工夫か。それとも単に、モデルと足場(スキャフォールディング)の相性がたまたま良かっただけなのか。
Zoom Video Communications、UMass Amherst、Emory University、UNC Charlotte の Run-Ze Fan 氏らによる2026年のプレプリントは、こうした要因を解きほぐそうとしている。論文は arXiv で公開されており、査読を経ていないプレプリントである。著者らは完成したシステム同士を競わせるのではなく、意図的に簡素なコーディングエージェントを1つ作り、部品を1つずつ変えた。対象は4つのオープンウェイトモデル(学習済みのパラメータが公開されているモデル)と2つのコーディングベンチマークである。問いは、各部品が一般に役立つのか、それともその価値がモデルやタスク、使える資源によって変わるのか、という点だ。
発想
言語モデルは単独ではテキストを生成するだけだ。実際のソフトウェアプロジェクトでバグを直すには、この分野でハーネスと呼ばれるものに組み込む必要がある。ハーネスとは、モデルをループで動かし、ファイルの読み書きやコマンド実行のためのツールを与え、セッションで積み上がっていく記録のどの部分を毎ターンモデルに見せるかを決めるソフトウェアだ。最も一般的なループは ReAct(reason and act の略)で、モデルが考え、ツールを呼び出し、結果を読み、完了するまでこれを繰り返す。
著者らは、ハーネスは通常ひとまとまりで評価されるため、ハーネス間の違いをどれか1つの設計上の選択に帰することができないと論じる。その例として挙げるのが、同じく2026年の Cao 氏らによる比較だ。そこでは Anthropic のモデル Claude Opus 4.5 が OpenHands のハーネスで最も成績が良かった一方、兄弟モデルの Claude Sonnet 4.5 は SWE-Agent で最も良かった。適切な足場はモデルによって異なりうることを示唆する例である。著者らはまた、Agentless や AutoCodeRover のような比較的素朴なパイプラインが、凝った構成が常に必要なわけではないことを示してきた点にも触れている。
特に注目するのがコンテキスト管理だ。どのモデルにもコンテキストウィンドウ、つまり一度に取り込めるテキストの上限があり、トークン(単語の断片)の数で測られる。長いコーディングのセッションでは、ファイルの中身や検索結果、エラーログでこれが埋まっていく。これまでの手法には、古い内容を削る、別の場所に保存して取り出せるようにする、要約する、といったものがある。著者らは、こうした手法は通常1つのモデルでの改良として提案されるため、ウィンドウが大きくなったりモデルが強くなったりしたときにどれほど効くのかはほとんどわかっていないと指摘する。
論文での検証方法
研究チームは固定した ReAct ループを軸にハーネスを一から作り、1タスクあたり300ステップを上限とした。いくつかの安全策は常に有効にしており、その中には、エージェントが同じ失敗する呼び出しを繰り返し続けると実行を止めるチェックも含まれる。そのうえで3つの要素を変えた。計画を有効にすると、最初のターンで計画を書くようモデルに促し、計画を更新するツールを与え、毎ターン現在の計画をモデルに示す。行動空間、すなわちエージェントが取れる動作の集合は、ファイルの読み取り、編集、一覧、検索のための専用ツール群とシェルを組み合わせたメニューか、その作業を生のコマンドラインシェル(bash)だけで行う形のどちらかとした。著者らは、ツールメニューにはファイル状態の追跡や編集後の自動コードチェックといった付加機能も含まれるため、この比較はツールの数だけでなくインターフェース全体の比較だと強調している。
コンテキスト管理は5段階を用意した。最も低い段階は何もせず、履歴がウィンドウからあふれると実行はエラーで終わる。他の段階では、かさばる古いツール出力を短いプレースホルダーに置き換える省略(elision)、その出力をディスクに保存してモデルが取り出せるようにする想起(recall)、あるいは同じモデルへの別の呼び出しで最も古い履歴を逐次更新される要約にまとめる要約を使う。最も充実した段階は3つすべてを組み合わせ、ウィンドウが60%埋まった時点でまず省略し、85%に達して初めて要約する。
モデルは Nvidia の Nemotron-3 ファミリーの3つのサイズ(30B、120B、550B パラメータ)と、外部との比較用の Mistral-Medium-3.5-128B である。ベンチマークは、Python プロジェクトの GitHub issue を人が確認した500件からなる SWE-Bench Verified と、コマンドラインの89タスクからなる Terminal-Bench 2.1 だ。コンテキスト管理の各段階は、32,000、64,000、96,000、128,000トークンのウィンドウで試した。計画とツールの選択は、最大のウィンドウで最も充実したコンテキスト管理を使う条件でのみ試した。コストは公開されているトークン単価から見積もったが、モデル自体は著者ら自身のハードウェアで動かした。
わかったこと、わからないこと
最も明確な結果はコンテキスト管理に関するものだ。SWE-Bench では、モデル間で平均すると、管理ありの段階は管理なしを最小のウィンドウで約36ポイント上回り、その差は最大のウィンドウでは3ポイント未満に縮んだ。仕組みは単純で、管理なしでは最小のウィンドウでほとんどの実行があふれたのに対し、管理ありの段階では一度もあふれなかった。たとえば550B パラメータのモデルは、最小のウィンドウで管理なしだと SWE-Bench のタスクの6.4%しか解けなかったが、最も充実した段階では55.6%を解いた。管理ありの段階の成績はほぼ同等だったが、3つを組み合わせた段階はモデルとベンチマークの8組のうち7組で最も安かった。想起は測定できるほどの効果を加えず、想起が使える設定の半分以上で、モデルは一度もそれを使わなかった。
計画とツールの結果はもっと入り組んでいる。最も小さいモデルでは、計画によって SWE-Bench の成功率が13.6%から25.2%に上がった。実行を編集にたどり着くまで続けさせたためとみられるが、コストは増えた。より強いモデルでは計画は主にコストを削り、成功率は小さく、統計的に有意でない程度に下がった。専用ツールは最も小さいモデルを大きく助けたが、これは主に、シェルのみのモードでこのモデルがハーネスで実行できないツール呼び出しを出し続けたためだ。最大の Nemotron は SWE-Bench でシェルだけのほうが成績が良く、コストも少なかった。一方 Mistral は SWE-Bench ではツールメニューのほうが良く、Terminal-Bench ではシェル寄りの結果だった。
著者らは限界を明示している。これらは特定の実装であり、理想的なハーネスのレシピではない。ツールの比較は複数の変更をひとまとめにしている。計画とツールの効果は1つの構成でしか測っておらず、各設定はタスクごとに1回しか実行していない。Terminal-Bench の差の多くは統計的に有意でないため、そこでの結論はモデルや予算をまたいで方向が一貫していることに基づいている。試したのは4つのモデルと2つのベンチマークだけで、モデルの大きさは能力の不完全な代理指標にすぎない。学習の内容やシェルへの慣れも関わりうるからだ。著者らは、効果が入れ替わる分岐点は、他のモデルやハーネス、タスクに当てはめる前に検証すべきだとしている。
- 論文
- An Empirical Study of Harness Design for Coding Agents
- 著者
- Run-Ze Fan, Zihao Zhang, Simin Ma, Yebowen Hu, Shouju Wang, Kaiqiang Song, Fei Liu, Hamed Zamani, Xiaoyang Wang et al.
- 掲載
- arXiv プレプリント(査読前) · 2026年9月17日
- リンク
- arxiv.org/abs/2609.20804
- 英語版
- Which parts of a coding agent's scaffolding matter, tested one piece at a time


