AI エージェントが事務仕事を学ぶ前に、欠陥のある練習課題を直す
WorkFactory は課題ごとに必要な情報を洗い出し、試しに解かせて欠落を補ったうえで、強いモデルの手本で小型の Qwen モデルをファインチューニングする。

AI エージェントに専門的な業務を手本から学ばせる方法には、どのモデルを手本にするかとは別の弱点がある。問題が、渡される課題そのものにある場合だ。たとえば、合成された仕入れ先選定の依頼資料に記された値引きが、同じ資料の需要予測から導かれる出荷量と食い違っていたとする。教師モデルは推測で補うか、分析を飛ばすかもしれず、小さなモデルが学ぶ手本の質が落ちる。IQuest Research と大学の共同研究者による2026年の査読を経ていないプレプリントで報告された WorkFactory は、手本を記録する前に、業務課題のファイルを過不足なく矛盾のない状態にすることを目指すパイプラインだ。
出発点は、職業の階層分類、文書化されたスキル、実際の専門的な成果物から集めた約120,000件の専門業務の意図(intent)である。成果物については instruction backtranslation(指示の逆翻訳)を使う。完成したレポートから、それを生み出したであろう指示を推測する手法だ。意図ごとに、プランナーが期待される成果物から逆算して、その背後にある計算や判断を洗い出し、さらにそれらに必要な情報の断片へとさかのぼる。こうしてできるのが Semantic Workflow Graph で、成果物がどの事実に依存し、それぞれの事実をどの依頼文、ファイル、外部の情報源が担っているかを示す地図である。生の前提データは課題環境に入れる。導出される数値や結論は、課題を解く側(ソルバー)が自分で求めるよう意図的に外しておく。その後、ワーカーが計画に合わせて実在のファイルを取得したり、補足資料を合成したりする。
第2段階では、各課題を実際に解かせて確かめる。本物のソルバーが見るものだけを見るプローブ用ソルバーが課題に挑み、作業を妨げる問題を報告する。続いてリファイナーが依頼文やファイルを修正する。論文の例では、Supplier C が1カートン当たり0.15米ドルの運賃を請求するという条件を加えるが、ソルバーに代わって比較までは行わない。別の言語モデルによるレビューが、各修正で中核の作業が抜け落ちていないか、答えが漏れていないかを確認する。修正の予算内で直せない課題は捨てる。最終的なコーパスは612職種にわたる112,686件の課題からなり、課題1件当たりの参照ファイルは平均4.15個だ。GLM-5.3 がクリーンなサンドボックスでこれらに取り組み、選別後の記録、すなわち教師軌跡は平均57.36ターン、ツール呼び出し62.95回だった。これらは、手本を再現するようモデルを訓練する教師ありファインチューニングに使われた。3つの Qwen ベースモデルをこの方法で訓練し、WorkPilot-4B、WorkPilot-27B、WorkPilot-35B-A3B が作られた。
主な比較は、各モデルをそれぞれのベースモデルと、GDPval、JobBench、Workspace-Bench Lite、OmegaUse-OfficeVal の4つのベンチマークで比べるものだ。GDPval のスコアは Elo レーティング、つまり出力を2つずつ比べた判定から算出するチェス式の点数で示される。著者らによると、WorkPilot-35B-A3B は JobBench で28.91から62.35に、OmegaUse-OfficeVal で7.14から21.18に上がった。WorkPilot-27B は GDPval の Elo で975から1612に伸び、DeepSeek-V4.1-Flash の1600と GLM-5.3 の1646の間に入った。ただし、WorkPilot の数値は Gemini 3.1 Pro Preview を評価役にしたローカルの推定値であるのに対し、最先端モデルのスコアは公式値である。WorkPilot-4B は GDPval と OmegaUse-OfficeVal では Apodex-1.1-mini を上回ったが、JobBench と Workspace-Bench では上回らなかった。生徒モデルは4つのベンチマークすべてで、依然として教師モデルに届いていない。たとえば WorkPilot-27B の JobBench のスコアは63.05で、GLM-5.3 の66.35を下回る。
35B-A3B モデルを使い5000件の課題で行った構成要素ごとの分析は、各部分の効果を切り分けている。ファイル単位の計画だけでは、モデルの Elo は1245だった。グラフを加えると1293に、さらに修復を加えると1326に上がった。グラフによって、導出が破綻している課題の割合は24.86%から6.86%に減ったが、答えの漏洩は1.92%から3.36%に増えた。修復によって、ファイル間の不整合は25.74%から4.84%に、漏洩は0.84%に下がった。教師を変えることも影響した。同じ30,000件の課題で、GLM-5.3 から学んだ生徒の Elo は1483だったのに対し、DeepSeek-V4-Flash-0731 から学んだ生徒は1248だった。データを増やす効果は逓減した。最初の5000件で Elo は447上がったが、75,000件から110,000件への増加では13にとどまった。1エピソードの平均の長さは、24.87ターンから2000件の時点で162.88ターンに伸びたあと、110,000件では85.90ターンに縮んだ。ウェブ取得(web fetch)の失敗率は、一貫して40%〜48%程度のままだった。
著者らは2つの限界を挙げている。教師モデルがテキストしか読まないため、訓練も評価もテキストのみで行った。また、モデルはファインチューニングだけで訓練され、強化学習は使っていない。この設定には他にも注意点がある。WorkFactory は、ほかの課題構築フレームワークと直接比較されていない。欠陥率は、修復ループが満たすよう設計されているのと同種の言語モデルによるプローブで測っており、修復の効果を実際より良く見せている可能性がある。構成要素の分析は、1つのモデル、1つのデータ量で行われた。他のベンチマークでは、評価役が必要な場合に人ではなく Claude Sonnet 4.6 を使っている。軌跡は、のちに評価で使ったのと同じ Stirrup と Claude Code のハーネスで収集されており、WorkPilot に有利に働く可能性がある。課題データは一部しか公開されていない。
この研究が狙う差は、55種類のデジタル業務にわたる実際のプロジェクトで測ったベンチマークが示したものだ。そこでは最も良いエージェント構成でも、公開課題のうち完全に合格したのは24%だった(関連記事)。この手法は、より強い AI 主導の探索で記録された手順を使って小さなオープンモデルをファインチューニングするやり方にも似ている(関連記事)。WorkFactory の違いは、何かを記録する前に課題を計画し、修復することに重点を置いている点にある。
- 論文
- WorkFactory: Turning Professional Intents into Executable Work for Scalable Agent Training
- 著者
- Ziyang Zeng, Tingyang Chen, Jia Deng, Qiyao Wang, Shuo Tang, Yike Yang et al.
- 掲載
- arXiv プレプリント(査読前) · 2026年10月27日
- リンク
- arxiv.org/abs/2610.37161
- コード
- github.com/IQuestLab/WorkFactory
- 英語版
- Fixing broken practice tasks before AI agents learn office work from them


