355の最適化課題の探索ログで小型言語モデルを訓練する
AI 主導の進化的探索で得点を上げた手順だけを小型オープンモデルに学ばせるプレプリントで、テスト問題での平均的な向上はばらつきが大きく、再現もされていない。

数学や工学で AI が挙げた目覚ましい成果の中には、単純なループから生まれたものがある。プログラムが解の候補群を保持し、大規模言語モデル(LLM)に候補の1つを改変させ、その結果を自動の評価器で採点し、これを繰り返す。この方式で作られたシステムは、数学の予想、GPU カーネル(グラフィックス用チップで動く小さなプログラム)、組合せパズルで最高水準の結果を出してきた。AlphaEvolve やオープンソースの OpenEvolve がその例だ。ミネソタ大学の Young-Jun Lee 氏と Dongyeop Kang 氏、カーネギーメロン大学や KAIST などの共同研究者は、査読を経ていない2026年のプレプリントで、このループの中で LLM が担う役割を小型モデルに直接教え込めるかを問うている。彼らの手法 Evolution Fine-Tuning(EFT)は、著者らが集めた371の最適化課題のうち355課題での探索から記録した手順を使い、20億〜90億パラメータのオープンモデルを訓練する。パラメータとはモデルが学習する内部の値で、その数はモデルの規模のおおよその目安になる。
背景には、探索が毎回ゼロから始まり、学んだことを忘れてしまうという問題がある。ループ内のモデルは通常、固定されたままだ。ループはどの段階でも質の高い提案を必要とするため、こうした探索は大規模な非公開モデルに頼ることが多い。著者らは、自分たちの実験では90億パラメータ未満のオープンモデルがこうした探索にうまくついていけなかったと報告している。探索中に小型モデルを更新する手法もあるが、課題が終わるとその更新は捨てられる。何を変え、何を残し、いつ後戻りするかというノウハウは、モデルではなく周囲のソフトウェアに宿っていることになる。EFT はそのノウハウをモデルの重みに移し、再利用できるようにしようとする。著者らはどのモデル規模でも平均的な向上を報告しているが、向上の大きさには課題ごとに大きなばらつきがあり、繰り返し実行した結果は報告されていない。
仕組み
外側のプログラムはスキャフォールドと呼ばれ、LLM を突然変異演算子、つまり既存の解を改変した版を提案する部品として扱う。著者らは既存のベンチマークから371の課題を集めた。AlphaEvolve が使った数学問題、競技プログラミングやアルゴリズム調整の課題群、GPU カーネルの課題、エルデシュ問題の変種、記号回帰(データに合う数式を見つける問題)などが含まれる。各課題には初期解と、どんな候補でも採点できる決定論的な評価器が付いている。
著者らは、はるかに大きな Qwen3.5-397B-A17B を教師モデルとして OpenEvolve を動かした。教師モデルは差分による編集(解の一部への修正)と全面的な書き直しの両方を提案し、課題ごとに乱数を変えた実行を複数回行った。親から子への各手順について、3つの情報を記録した。1つ目はモデルが見たもので、指示、親の解、探索履歴の一部、評価器からのフィードバックを含む。2つ目はモデルが書いたもの、3つ目は子の解の得点である。著者らは評価器の失敗、動いていた解を壊した手順、長すぎる例を除外した。これにより172,997件の記録は156,731件に絞られ、著者らはこれを Finch Collection と呼んでいる。このうち39.4%の手順は得点を上げ、19.2%は変えず、41.3%は下げた。
訓練は教師ありファインチューニングで、教師モデルが直面した状況をモデルに示し、教師の答えを再現するよう学習させる。著者らは355課題から得点を上げた手順だけを使い、16課題は訓練から外した。記録の大半は記号回帰の実行が占めていたため、課題ごとの寄与に上限を設け、その結果30,445例が残った。著者らは Qwen3.5 の 2B、4B、9B 版と Qwen3 の 8B 版を、データを1周だけ学習させる形でファインチューニングした。得られたモデルは Finch と呼ばれる。任意の第2段階では、選好学習の手法 KTO を適用する。得点を上げた編集に近づけ、下げた編集から遠ざけるようモデルを導く手法だ。著者らはこれをオフライン強化学習、すなわちその場の試行錯誤ではなく記録された報酬から学ぶ方式と位置づけている。
テスト時には、Finch が重みを固定したまま OpenEvolve 内の LLM と入れ替わって100回の反復を行い、最高得点を記録する。Finch は単一の問題に対するテスト時強化学習の出発点にもなる。著者らはこれに、探索しながらモデルの重みを更新する TTT-Discover という手法をオープンに再現した nanodiscover を使った。
実験が示すこと
評価は5つのグループに分かれた22課題で行った。数学的発見のグループには、エルデシュの最小重なり問題、2つの自己相関不等式、26個の円の充填、アダマール行列式問題が含まれる。ほかのグループは、アルゴリズム工学、システム性能、0〜100点で採点する競技プログラミング、アルゴリズムのヒューリスティクスである。主な比較では、各 Finch モデルを、同一条件の OpenEvolve で動かした自身の基盤モデルと競わせた。主要な結果の表で平均すると、Finch は基盤モデルを Finch-2B で1.56%、Finch-4B で3.40%、Finch-8B で3.17%、Finch-9B で10.24%上回った。
こうした平均の陰には大きなばらつきがある。Finch-9B は円充填で基盤モデルを65.09%、アダマール問題で21%上回った。Finch-4B は Transaction というシステム課題で74.30%向上した。一方、1つ目の自己相関不等式での向上は0.01%から0.30%にとどまった。アダマール問題では Finch-4B と Finch-2B がそれぞれ61.96%、16.22%悪化した。競技プログラミングでは傾向がより明確だ。基盤モデルから Finch に替えると、平均得点は Finch-9B で32.46から46.01に、Finch-4B で14.52から31.97に、Finch-2B で0から6.12に上がった。Finch-8B は24.21から24.56とほとんど動かず、6問中3問では下がった。
著者らは、OpenEvolve で動かした非公開モデルとも Finch を比べた。非公開モデルの得点は先行論文から引用したものだ。値が低いほど良いエルデシュ問題では、Finch-9B が0.381100に達した。Claude-Opus-4.6 は0.381880、人間の最高記録は0.380927である。Transaction では Finch-4B が Claude-Opus-4.6、Gemini-3-Pro、GPT-5 を上回った。ただし円充填では、Finch の最高が1.936だったのに対し、Claude-Opus-4.6 は2.629だった。
1つの要素だけを変えて調べるアブレーション実験のほうが、多くを物語る。Qwen3-8B を、得点を変えなかった手順や下げた手順も含む保持済みの全手順で訓練すると、試した3つの数学課題すべてで訓練前の基盤モデルより悪くなった。エルデシュ問題では0.492で、基盤モデルの0.404や、改善手順だけで訓練した場合の0.381より悪かった。KTO を加えると、競技プログラミングの平均は Finch-8B で24.56から37.30に、Finch-4B で31.97から36.30に上がった。訓練課題を15から355に増やすと、ホールドアウト課題(訓練から除外した課題)での性能が3課題平均で14.1%向上した。ある事例研究では、Finch が推薦システムや数値最適化の手法を借りてきた一方、基盤モデルは1つの標準的な手法を繰り返していたと著者らは報告している。
示されていないこと
繰り返し実行の結果やエラーバーは報告されておらず、各数値は1回の探索で得た最高得点とみられる。差の多くは小数第3位や第4位で生じており、繰り返し実行がなければ、意味のある差とノイズを区別できない。基盤モデル同士でも、規模の順に成績が並んでいない。エルデシュ問題では 2B の基盤モデルが 4B と 8B の基盤モデルを上回り、その0.381737という値は先行研究から引用した Claude-Opus-4.6 の数値よりも良かった。この設定では小型のオープンモデルがかなり弱いという著者らの前提とは、うまくかみ合わない。
訓練とテストの切り分けも緩い。371課題のうち訓練から除外されたのは16課題だけだ。評価用の課題は、できる限り訓練用の課題と重ならないようにしたとされるにとどまり、一部は訓練データと同じベンチマーク群に由来する。表にある Finch-9B の平均10.24%は、22課題のうち11課題で計算されている。要旨は22課題全体での平均向上を10.22%とし、本文は Finch-9B について10.31%としている。非公開モデルの得点は、同一条件で再実行されたものではない。
テスト時学習の結果は最も弱い。nanodiscover のもとでは、Finch-8B と訓練していない Qwen3-8B は2つの円充填課題で同点となり、エルデシュ問題での差は0.000008だった。論文の本文はエルデシュ問題で3.2%の向上があったとしているが、論文自身の表にはそれが表れていない。著者らは、Finch-8B が GPT-OSS-120B を使った TTT-Discover の元の実行にまだ及ばないことを認めている。元の手法は課題1つあたり約500ドルかかるため、再実行はしていない。
著者らはほかにも限界を挙げている。データ収集とテストの両方に使ったスキャフォールドは OpenEvolve だけで、EvoX のようなより強力なスキャフォールドの中で向上が得られるかは検証されていない。テスト時学習は数学でしか試しておらず、カーネル開発のような実務的な作業では試していない。手法はテキストのみを扱い、各候補を1ターンで書き出す。これらに加えて、Finch は単一の教師モデルを模倣している。分野をまたいだ転移を示す2つの事例研究のうち1つについては、その振る舞いが生じた理由を著者らは仮説として述べているにすぎない。
位置づけ
論文は先行研究を2つの陣営に分けている。AlphaEvolve、OpenEvolve、ShinkaEvolve、GEPA、EvoX などの探索スキャフォールドは、固定したモデルで解を改善する。AlphaEvolve はオープンソースではない。学習ベースの手法である ThetaEvolve と TTT-Discover は、探索中に強化学習でモデルを更新するが、一度に扱う課題は1つで、終われば更新を捨てる。EFT は事前に、多くの課題にまたがって訓練する。どんなスキャフォールドとも組み合わせられ、テスト時学習の土台にもなることを目指している。発見の定義は TTT-Discover から借りており、反復回数の上限内で、それまでに知られていた最良の解を上回ることを指す。
このシリーズの以前の記事では、ループのもう一方の側を取り上げた。LLM の提案と、予測される価値と不確実性を比べて費用のかかる試験に回す設計を決める統計モデルとを組み合わせる手法である(関連記事)。その手法は、提案役を固定したまま選ぶ側を磨く。EFT は提案役そのものを改善しようとしており、記録した156,731の手順からなるデータセットも、その貢献の大きな部分を占める。
信頼性の面で最も明確な証拠は、競技プログラミングの表と、得点を下げた手順も含めて全手順で訓練すると逆効果になることを示したアブレーションだ。通常の探索での向上は平均としては成り立つが、ばらつきが大きく、再現もされていない。EFT がテスト時学習を強化するという主張は論文自身の数字では裏づけられておらず、分野をまたいだ転移は2つの事例研究に依拠している。
- 論文
- Evolution Fine-Tuning: Learning to Discover Across 371 Optimization Tasks
- 著者
- Young-Jun Lee, Seungone Kim, Minki Kang, Alistair Cheong Liang Chuen, Zerui Chen, Seungho Han, Taehee Jung, Dongyeop Kang et al.
- 掲載
- arXiv プレプリント(査読前) · 2026年6月27日
- リンク
- arxiv.org/abs/2606.29082
- コード
- github.com/Open-Galapagos/evolution-fine-tuning
- 英語版
- Training small language models on logged search steps from 355 optimisation tasks


