精簡訓練配方加上大量自我檢查,讓中型模型達奧賽金牌水準
套用精簡訓練配方後,一個現有推理模型在 IMO 2025 和 USAMO 2026 的題目上拿到 42 分中的 35 分,但仰賴冗長且昂貴的起草與檢查循環。

Yafu Li 與同事指出,一個中型語言模型套用一套精簡的三階段訓練配方後,可以在兩項數學奧林匹亞競賽拿到金牌水準的分數,前提是它要大量投入在起草、檢查和改寫自己的證明上。他們的系統 SU-01 在 2025 年國際數學奧林匹亞(IMO)和 2026 年美國數學奧林匹亞(USAMO)的題目上,經人類專家評分,都拿到 42 分中的 35 分。這篇 2026 年的論文是發表在 arXiv、尚未經同儕審查的預印本。作者指出,先前達到 IMO 銀牌或金牌水準的系統,例如 AlphaProof、AlphaGeometry 2 和 Gemini Deep Think,都仰賴規模更大的搜尋與驗證預算;SU-01 則是把一套精簡的配方套用在現有的模型上。
奧賽評分看的是完整、嚴謹的論證,而不只是正確的最終數字。起點模型 P1-30B-A3B 是一個混合專家模型(mixture of experts):由路由器把每一段文字分派給幾個專門的子網路處理,而不是讓它通過整個網路。依照命名慣例,這個名稱代表約 300 億個參數(訓練時調整的數值),每次大約有 30 億個在運作。它原本就很會給出最終答案,在 AnswerBench 測驗拿到 69.3%;但寫證明的能力很弱,在 IMO-ProofBench 整體只有 20.0%,進階題組更只有 6.2%。
配方的第一步是監督式微調(supervised fine-tuning),讓模型模仿約 338,000 個由較大模型 DeepSeek-V3.2-Speciale 寫出的解題範例。這些範例依困惑度(perplexity,衡量一段文字對模型來說有多出乎意料)排序,最不熟悉的排在最前面。作者在另一組資料組合上測試這種排序:它在 AnswerBench 拿到 55.8,隨機排序是 39.5,熟悉的排在前面則是 24.3。與隨機排序相比,它也把因觸及長度上限而被截斷的回答比例從 7.3% 降到 0.3%,而截斷是模型漫無邊際、說個不停的跡象。接下來是強化學習(reinforcement learning),也就是獎勵成功的嘗試。第一種獎勵給經自動檢查確認正確的最終答案;後來的獎勵則給整份證明,由另一個模型 DeepSeekMath-V2 判定是否成立。這個後期階段還會把模型自己失敗的證明交回給它修正,並重播它在難題上少數成功的嘗試。整個階段使用約 25,000 個提示(prompt),訓練 200 步。
第三個階段發生在作答時。在一個改編自 Huang 與 Yang 先前研究的循環中,同一個模型先起草解答、加以改進,再寫出一份結構化的錯誤報告,接著決定接受、否決或修改這份證明,如此反覆,直到證明穩定通過自己的檢查,或預算用完為止。這就是測試時擴展(test-time scaling),也就是在作答時投入額外的運算,而且代價很高。語言模型是以稱為 token 的字詞片段來讀寫文字。在 USAMO 2026 上,初稿長度的中位數約 106,000 個 token,每次修改的中位數則是 83,000 個。
不用這個循環時,SU-01 在 IMO-ProofBench 拿到 57.6%,領先所有受測的同級規模模型(其中最好的是 52.9%),也略高於它的老師模型的 56.0%。加上循環後,SU-01 達到 70.2%,接近 Gemini 3.1 Pro Thinking 的 72.6%,但落後 GPT-5.5-High 的 80.7%;不過其他模型都沒有套用這個循環。在能夠檢查最終答案的基準測試上,它和最強的同級對手 Qwen3.6-35B-A3B 基本上打平,分別是 77.3% 和 77.4%。兩項競賽的結果則顯示這個循環撐起了多少成績。直接作答時,SU-01 在 IMO 2025 拿到 21 分,屬於銅牌水準;在 USAMO 2026 拿到 15 分。加上循環後,兩項都達到 35 分,正好是 IMO 的金牌門檻,也等於 340 名 USAMO 人類參賽者中所報告的最高分。在 2024 和 2025 年的國際物理奧林匹亞(IPhO)上,它不用循環就超過了金牌門檻;不過所有同級規模的模型也都超過了 2024 年的門檻,包括起點模型。
還有許多問題懸而未決。12 道競賽題中有 2 題沒有解出來。作者表示,當問題的關鍵在於保持組合結構,或證明某個性質在整個過程中始終成立時,模型的表現較弱。兩項數學競賽都沒有測試其他模型。循環產生的答案由人類專家評分,直接作答的答案則是自動評分。這套配方仰賴外部模型擔任老師、證明評審和備用的答案檢查器。作者主張訓練成本低,計算的是資料量和訓練步數,而不是運算時數。他們也承認,用語言模型評判證明,容易受到評審本身怪癖的影響,也無法消除獎勵中的雜訊。
- 論文
- Achieving Gold-Medal-Level Olympiad Reasoning via Simple and Unified Scaling
- 作者
- Yafu Li, Runzhe Zhan, Haoran Zhang, Shunkai Zhang, Yizhuo Li, Zhilin Wang, Jiacheng Chen, Futing Wang, Xuyang Hu, Yuchen Fan, Bangjie Xu, Yucheng Su et al.
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年5月13日
- 連結
- arxiv.org/abs/2605.13301
- 程式碼
- github.com/Simplified-Reasoning/SU-01
- 英文版
- A compact recipe and heavy self-checking take a mid-sized model to olympiad gold level


