以 355 項最佳化任務的搜尋步驟紀錄訓練小型語言模型
一篇 2026 年的預印本,以 AI 驅動的演化式搜尋中讓分數提升的步驟微調小型開放模型,測試問題上的平均進步並不均勻,也未經重複驗證。

數學與工程領域裡一些較引人注目的 AI 成果,來自一個簡單的迴圈:程式維護一批候選解,請大型語言模型(LLM)修改其中一個,用自動檢查程式替結果評分,然後重複。用這種方式打造的系統,已在數學猜想、GPU kernel(在繪圖晶片上執行的小程式)和組合謎題上做出最先進水準的結果,AlphaEvolve 和開源的 OpenEvolve 就是兩個例子。明尼蘇達大學的 Young-Jun Lee、Dongyeop Kang 與卡內基美隆大學、KAIST 等機構的同事,在一篇 2026 年、尚未經同儕審查的預印本中,探討能否把 LLM 在這個迴圈裡扮演的角色,直接教給小型模型。他們的方法稱為演化微調(Evolution Fine-Tuning,EFT):作者蒐集了 371 項最佳化任務,用其中 355 項任務的搜尋步驟紀錄,訓練參數量 20 億到 90 億的開放模型。參數是模型學到的內部數值,數量大致代表模型的規模。
這麼做的動機是,每一次搜尋都從零開始,結束後又把學到的東西忘掉。迴圈裡的模型通常是凍結的,權重不會更新。由於迴圈每一步都需要好的提案,這類搜尋往往仰賴大型專有模型。作者表示,在他們的實驗中,參數不到 90 億的開放模型很難跟上這類搜尋。確實會在搜尋期間更新小型模型的方法,則在任務結束時就把更新丟掉。因此,該改什麼、該保留什麼、何時回頭的訣竅,是存在外圍的軟體裡,而不是模型裡。EFT 試圖把這套訣竅移進模型的權重,好讓它能重複使用。作者表示,各種規模的模型平均都有進步,但進步的分布並不均勻,論文也沒有報告重複實驗。
運作方式
外層的程式稱為 scaffold(搭在模型外面的框架),它把 LLM 當成突變運算子(mutation operator),也就是針對既有的解提出修改版本的元件。作者從現有的基準測試中蒐集了 371 項任務,包括 AlphaEvolve 用過的數學問題、程式競賽與演算法調校的測試集、GPU kernel 任務、Erdős 問題的變形,以及符號回歸(找出符合資料的公式)。每項任務都附有一個起始解,以及一個能替任何候選解評分的確定性評估程式。
他們以規模大得多的 Qwen3.5-397B-A17B 作為老師模型來執行 OpenEvolve。老師模型會提出兩種修改:以 diff 為基礎的修改(只修補解的一部分)和整份重寫,每項任務都跑了數次隨機化的搜尋。從親代解到子代解的每一步都記錄三樣東西:第一是模型看到的內容,包括指示、親代解、部分搜尋歷程和評估程式的回饋;第二是模型寫出的內容;第三是子代解的分數。作者濾掉評估程式出錯的紀錄、把原本可用的解改壞的步驟,以及過長的範例,把 172,997 筆紀錄縮減為 156,731 筆,並稱之為 Finch Collection。這些步驟中,39.4% 提高了分數,19.2% 分數不變,41.3% 讓分數變差。
訓練採用監督式微調:讓模型看老師當時面對的情境,學著重現老師的答案。作者只用讓分數提升的步驟,取自 355 項任務,另外保留 16 項任務不參與訓練。由於符號回歸的搜尋在紀錄中佔了大宗,他們限制每項任務能貢獻的資料量,最後剩下 30,445 筆範例。他們微調了 2B、4B、9B 三種規模的 Qwen3.5,以及 8B 的 Qwen3,資料只過一輪。訓練出來的模型稱為 Finch。另有一個可選的第二階段,採用偏好學習方法 KTO,讓模型偏向能提高分數的修改、遠離讓分數下降的修改。作者把這描述為離線強化學習,意思是從記錄下來的獎勵中學習,而不是即時地反覆試誤。
測試時,Finch 以凍結的權重取代 OpenEvolve 裡的 LLM,執行 100 次迭代,並記錄最佳分數。Finch 也可以作為起點,針對單一問題做測試時強化學習。為此,作者使用 nanodiscover,這是 TTT-Discover 方法的開源重現版本;TTT-Discover 會在搜尋的同時更新模型權重。
證據顯示了什麼
評估涵蓋分成五組的 22 項任務。數學發現組包括 Erdős 最小重疊問題、兩個自相關不等式、26 個圓的圓形堆積問題,以及一個 Hadamard 行列式問題。其他各組分別是演算法工程、系統效能、以 0 到 100 分計分的程式競賽,以及演算法啟發式。主要的比較,是讓每個 Finch 模型與自己的基礎模型,在相同的 OpenEvolve 搜尋中對比。以主要結果表的平均來看,Finch 勝過基礎模型的幅度,2B 為 1.56%、4B 為 3.40%、8B 為 3.17%、9B 為 10.24%。
這些平均值掩蓋了很大的差異。Finch-9B 在圓形堆積上比基礎模型高 65.09%,在 Hadamard 問題上高 21%。Finch-4B 在名為 Transaction 的系統任務上進步 74.30%。但在第一個自相關不等式上,進步幅度則介於 0.01% 到 0.30% 之間。在 Hadamard 問題上,4B 和 2B 模型反而變差,分別退步 61.96% 和 16.22%。程式競賽的結果比較清楚:9B 的平均分數從 32.46 升到 46.01,而 4B 從 14.52 升到 31.97,至於 2B 則從 0 升到 6.12。8B 則幾乎沒動,從 24.21 到 24.56,而且在六題中有三題退步。
作者也把 Finch 與在 OpenEvolve 中執行的專有模型相比,專有模型的分數取自先前的論文。在分數越低越好的 Erdős 問題上,Finch-9B 達到 0.381100,Claude-Opus-4.6 是 0.381880,人類的最佳結果則是 0.380927。在 Transaction 上,Finch-4B 勝過 Claude-Opus-4.6、Gemini-3-Pro 和 GPT-5。不過在圓形堆積上,最好的 Finch 拿到 1.936,Claude-Opus-4.6 則是 2.629。
消融實驗(一次只改變一個條件的實驗)更能說明問題。用所有保留下來的步驟訓練 Qwen3-8B,包括分數不變或變差的步驟,結果在測試的三個數學任務上,表現全都比未經訓練的基礎模型差。在 Erdős 問題上它拿到 0.492,基礎模型是 0.404,只用提升分數步驟訓練的版本則是 0.381。加上 KTO 之後,程式競賽的平均分數在 8B 從 24.56 升到 37.30,在 4B 從 31.97 升到 36.30。用 355 項任務而非 15 項任務來訓練,在三項任務上讓保留任務(排除在訓練之外的任務)的表現平均提升 14.1%。在一個案例研究中,作者表示 Finch 借用了推薦系統和數值最佳化的技巧,基礎模型則一直重複同一種標準方法。
證據沒有顯示什麼
論文沒有報告重複實驗或誤差線,因此每個數字看來都是單次搜尋的最佳分數。許多差異落在小數點後第三或第四位,沒有重複實驗,就無法分辨那是訊號還是雜訊。基礎模型的表現甚至沒有依規模排序。在 Erdős 問題上,2B 基礎模型勝過 4B 和 8B 的基礎模型,它的 0.381737 也勝過取自先前研究的 Claude-Opus-4.6 分數。這和作者「小型開放模型在這種情境下弱得多」的前提不太吻合。
訓練與測試之間的切割並不嚴謹。371 項任務中,只有 16 項排除在訓練之外。論文對評估任務的描述,只說「盡可能」與訓練任務不重疊,其中有些還來自與訓練資料相同的基準測試集。表中 Finch-9B 的平均 10.24%,是根據 22 項任務中的 11 項算出來的。摘要寫的是全部 22 項任務平均進步 10.22%,正文給 Finch-9B 的數字則是 10.31%。專有模型的分數也沒有在相同設定下重新跑過。
測試時學習的結果最薄弱。在 nanodiscover 下,Finch-8B 和未經訓練的 Qwen3-8B 在兩項圓形堆積任務上打平,在 Erdős 問題上相差 0.000008。論文正文聲稱在 Erdős 上進步 3.2%,但它自己的表格並沒有呈現這個結果。作者承認,Finch-8B 仍落後於原始 TTT-Discover 搭配 GPT-OSS-120B 的結果。他們沒有重跑原始方法,因為每項任務約要花 500 美元。
作者還指出其他限制。OpenEvolve 是唯一使用的 scaffold,資料蒐集和測試都用它,因此在 EvoX 等更強的 scaffold 中能否進步,尚未經過測試。測試時學習只在數學任務上試過,沒有試過 kernel 工程這類實務工作。這個方法只處理文字,每個候選解都在單一回合內寫出。除此之外,Finch 只模仿單一個老師模型;而在兩個遷移案例研究中,有一個案例的行為成因,作者只提出了假設。
在相關研究中的位置
論文把先前的研究分成兩大類。AlphaEvolve、OpenEvolve、ShinkaEvolve、GEPA 和 EvoX 等搜尋 scaffold,是用凍結的模型來改進解;其中 AlphaEvolve 並未開源。以學習為基礎的方法 ThetaEvolve 和 TTT-Discover,則在搜尋期間用強化學習更新模型,但一次只處理一項任務,結束後就丟掉更新。EFT 則是事先、跨多項任務進行訓練,目標是能搭配任何 scaffold 使用,或作為測試時學習的基礎。它沿用 TTT-Discover 對「發現」的定義:在迭代次數上限內,勝過先前已知的最佳解。
本系列先前一篇報導探討的是迴圈的另一端:把 LLM 的建議與一個統計模型搭配,由統計模型權衡預測價值與不確定性,決定哪些設計值得進行昂貴的測試(相關報導)。那種做法是在固定的提案者周圍,把挑選做得更精準;EFT 則試圖改進提案者本身,而它包含 156,731 筆搜尋步驟紀錄的資料集,是這項研究貢獻中很大的一部分。
至於可信度,最明確的證據是程式競賽的表格,以及顯示「連同讓分數下降的步驟一起訓練會適得其反」的消融實驗。在單純的搜尋設定下,平均而言確實有進步,但幅度不均,也沒有經過重複驗證。EFT 能強化測試時學習的說法,論文自己的數字並不支持;跨領域遷移的主張,則只建立在兩個案例研究上。
- 論文
- Evolution Fine-Tuning: Learning to Discover Across 371 Optimization Tasks
- 作者
- Young-Jun Lee, Seungone Kim, Minki Kang, Alistair Cheong Liang Chuen, Zerui Chen, Seungho Han, Taehee Jung, Dongyeop Kang et al.
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年6月27日
- 連結
- arxiv.org/abs/2606.29082
- 程式碼
- github.com/Open-Galapagos/evolution-fine-tuning
- 英文版
- Training small language models on logged search steps from 355 optimisation tasks


