大型語言模型提出設計,再由統計模型決定哪些值得測試
一篇 2026 年的預印本提出「大型發現模型」,讓 LLM 提出候選設計,再由統計模型權衡預測價值與不確定性,決定哪些值得進行昂貴的測試。

Zhongwei Yu、Jun Wang 和同事把他們的系統稱為「大型發現模型」(Large Discovery Model,LDM)。不過與其說它是單一模型,不如說是一個分工合作的迴圈。大型語言模型(LLM)負責提出候選設計,例如修改訓練程式、抗體環區序列或小分子。另一個根據目前已有結果擬合的統計模型,則估計每個候選可能有多好,以及這個估計有多不確定。在這項綜合指標上得分高的候選,才會送去做昂貴的評估。這項研究是 2026 年發表在 arXiv、尚未經同儕審查的預印本,作者稱之為初始的 v0.1 版本。
這套系統針對的是許多科學搜尋共有的樣貌。搜尋空間龐大且有結構,每次測試都很昂貴,往往帶有雜訊,過程也不透明,因此只能試到極少部分的候選。LLM 能產生有效的候選。但作者認為,模型賦予候選的機率(likelihood)和模型的自我評估,並不能很好地代表實驗實際會量到的結果,也無法可靠地指引不確定性,面對陌生的設計時尤其如此。推論階段的推理方法之所以奏效,是因為有便宜的驗證器(例如單元測試)可以快速、反覆地為每次嘗試打分數,而科學發現往往缺少這種驗證器。這篇論文押注的是,判斷應該交給一個以實際量測為基礎、知道自己不知道什麼的模型。
運作方式
負責提案的 LLM 會根據一份持續更新的脈絡產生設計。這份脈絡可以包含過去的結果、LLM 自己的反思,以及代理模型(surrogate)的預測。代理模型是真實測試的便宜替身,這裡用的是高斯過程(Gaussian process,GP),一種能從少數已測試設計中學習的統計模型。對任何尚未測試的設計,它會給出一個預測分數和一個不確定性區間,資料累積越多,區間就越窄。採集函數(acquisition function)再把這兩者合成一個數字,表示某個候選有多值得測試。作者使用的是標準規則。期望改進(Expected Improvement,EI)評估候選預期能比目前最佳結果好多少。信賴上界(Upper Confidence Bound,UCB)在預測值上加上若干倍的不確定性。期望超體積改進(Expected Hypervolume Improvement)則用來處理多個目標互相競爭的情況。
作者從一個目標函數出發:採集分數高就給予獎勵,但偏離 LLM 自身傾向太遠就要懲罰。他們由此證明,理想的搜尋分布是 LLM 的提案分布,再以指數方式往採集分數高的候選重新加權。這個分布無法精確取樣。因此每一輪由 LLM 提出一批候選,由代理模型評分。系統接著有兩種做法:依採集分數越高、被選中機率越大的方式取樣,或是只保留最高分的那一個,也就是所謂的 best-of-N 方法。候選的產生也有兩種方式。在直接生成中,LLM 寫出完整的設計,再由有效性檢查器過濾。在間接參數化中,LLM 決定要調整哪些參數(旋鈕)以及它們的範圍,由另一個取樣器填入具體數值,GP 也只針對這個被選定的子空間建模。
當進展停滯時,有一個反思步驟讓 LLM 新增或重塑搜尋維度。作者稱之為「發現機制」,這也是他們理論的支柱。每一輪與最佳可能設計之間的差距,可以精確拆成兩部分。第一部分是「發現落差」,指 LLM 目前能觸及範圍內的最佳設計,距離真正的最佳解還差多少。第二部分是「最佳化遺憾」(optimisation regret),指實際選中的設計,距離可觸及範圍內的最佳設計還差多少。在這個架構下,由採集函數引導的挑選處理的是第二項,而 LLM 的提案(可以透過反思擴大)決定第一項。另外也可以選擇把候選池和依採集值加權的選擇紀錄,拿來微調(也就是進一步訓練)提案模型,讓它學到代理模型會重視什麼,而不是原始分數。還有一種加入推理的變體,會先根據代理模型的輸出,寫下一段關於研究進展的理由,再提出候選。
證據顯示了什麼
三項測試都是在電腦上進行的。第一項是 autoresearch,這是 Karpathy 在 2026 年公開的專案。在這個專案中,AI 程式設計代理會修改訓練腳本,每次修改都以訓練一個小型語言模型五分鐘的結果來評判。評分指標是驗證集每位元組位元數(validation bits per byte,val_bpb),衡量模型預測未用於訓練的保留文字有多準,數值越低越好。LDM 採用間接參數化和 EI,與原本只靠 LLM 的迴圈比較,兩者使用相同的程式設計模型、相同的環境,以及在 H100 圖形處理器上每次執行五分鐘的預算。兩者的起點都是 1.0069。基準方法在大約 255 次執行後停在約 0.9767,LDM 則達到 0.9342,降幅約為基準的 2.4 倍。另一次在 B200 硬體上的 LDM 執行,以 59 次執行達到 0.9023,領先 autoresearch@home 排行榜上的兩筆紀錄(0.9264 和 0.9274)。LDM 保留下來的修改,從架構改動、更窄的模型,到改用不同的訓練最佳化器都有。
消融實驗(一次只改變一個元件)也指向相同的方向。每輪評分 64 個候選變體,比評分 16 個停在更好的水準。在第一次迭代後就凍結搜尋的特徵,等於關閉發現機制,搜尋最後停在較差的水準。只依預測分數挑選,初期表現有競爭力,但最後停滯的數值比兩種考慮不確定性的規則都差,其中以 UCB 最好。完全不用代理模型、只靠 LLM 的迴圈,在 875 次實驗後停在 0.956 附近。
第二項測試是抗體設計。目標是 CDRH3,這是抗體上一段約 11 個胺基酸長的環區,在很大程度上決定抗體會與什麼結合,可能的序列約有 200 兆種。每條序列都以 Absolut! 的模擬結合能,針對五種抗原評分。由 LLM 直接寫出序列的變體,只比單獨使用 LLM 略好一點。作者以策略為基礎的變體表現較好,達到與 AntBO 相當的親和力;AntBO 是專為抗體設計的方法。比較對象還包括隨機搜尋、純 LLM 生成,以及組合最佳化方法 TURBO 和 COMBO。第三項測試是針對 KRAS G12D(一種突變的癌症相關蛋白)最佳化分子,同時追求兩個目標:對接分數,以及作者所稱的「神經活性」。評分指標是超體積,衡量最佳權衡組合在目標空間中支配了多大範圍。論文摘要總結抗體與分子的結果指出,相較於只靠 LLM 反思或傳統統計搜尋,結合能相對降低 18.2%,多目標分子表現則有超過 60% 的相對提升。
微調實驗以 Qwen3.5-9B 作為提案模型。在 autoresearch 上進行 80 次迭代後,經過微調並加入推理的模型達到 0.9788,略勝規模較大的 Qwen3-Coder-30B(0.9801)。沒有微調也沒有推理的基礎模型只達到 0.9965。在五種抗原上,微調後的模型也比基礎提案模型更好。分子任務則用來檢驗這種效果能否延伸到不同的問題:在 80 次評估中,加入推理的微調模型在五種策略裡達到最高的最終超體積。
沒有證明什麼
這些結果都還沒進過實驗室。結合能和對接分數來自計算型的評估程式(oracle),也就是代替真實量測的程式。作者把濕實驗室驗證列為未來工作。他們對「發現」的定義,只涵蓋搜尋空間、評估方式和目標都能明確寫下的問題。而且「發現」是相對於代理系統原有的知識而言,從整個領域的角度看,可能只是重新發現。
2.4 倍這個數字,比較的是 LDM 的終點和基準方法在大約 255 次執行後停下的位置。另一個純 LLM 迴圈跑了 875 次實驗,停在 0.956 附近,縮小了差距,不過作者仍形容它明顯高於 LDM 的 0.934。這類搜尋具有隨機性,任何差距的可靠程度,都取決於背後的重複次數。排行榜上的紀錄來自外部的設定。作者說他們的執行在硬體上是對等的,但這項比較仍只是提供線索,而非受控比較。表 1 列出 LDM 保留的各項修改,其改善加總約 0.084,但沒有說明來自哪一次執行,因此無法與 H100 上 0.073 的降幅相互核對。
其他領先幅度也不大。在抗體上,LDM 是與 AntBO 打平,而不是勝過它。在微調上,0.9788 對 0.9801,只比較大的模型領先一點點。加入推理的基礎模型(0.9825)也略勝沒有推理的微調模型(0.9829)。在這項基準上,推理步驟的效果和訓練差不多。
理論與實作之間也有落差。遺憾分析的假設包括使用 UCB 採集函數、一次只評估一個候選,以及代理模型校準良好。它也對 LLM 的提案能多緊密地涵蓋最佳解附近的區域設下條件。相對地,autoresearch 的執行使用的是批次 EI,並額外加上一個多樣性項。此外,GP 從來沒有看到程式本身,只看到一組由 LLM 選定、維度較低的參數,而且它的內部設定是固定的;作者採用這種做法,是為了在資料稀少時維持穩定。因此,代理模型對問題的視野,受限於 LLM 開放了哪些可調參數。
研究定位
這篇論文把自己放在依賴便宜驗證器的推論階段搜尋的對立面。這一類方法從思維鏈(chain-of-thought)、思維樹(tree of thoughts)和 Self-Refine,一路到 AlphaZero 式搜尋、AlphaEvolve、o1 和 DeepSeek-R1。作者引用自主研究代理(Lu et al., 2024)和由 LLM 撰寫的研究提案(Si et al., 2024),說明流暢的生成並不足夠:這些提案多樣性有限、可行性較弱,而且 LLM 無法可靠地評估自己的點子。他們也引用 Gupta et al. 和 Chang et al.(2025)的研究,說明 LLM 給出的機率不一定與量測到的性質一致。
貝氏最佳化是一類方法(例如 EGO 和 GP-UCB),用來從少量觀測中挑選昂貴的實驗。作者從中借用了有原則、考慮不確定性的挑選方式。這類方法本身缺少的東西,則由 LLM 補上:問題的表示方式,以及提出候選的方法。作者也借用了無限臂吃角子老虎機(infinite-armed bandits)的框架,也就是選項無法全部列出、必須從某個來源抽取的情況。在這裡,LLM 就是那個會隨情況調整的「蓄水池」。在先前結合 LLM 與最佳化的方法中,他們認為 OPRO 缺乏經過校準的不確定性,並把 LLAMBO、BoChemian 和 LABO 描述為把 LLM 納入貝氏最佳化的早期做法。他們主張的差異在於,採集值同時引導生成、運算資源和微調;其他方法則是由人類偏好、驗證器或獎勵模型的分數來引導。
作為探討機器如何做出發現的開端,這篇論文點出一個鮮明的矛盾:生成模型的表達能力強到幾乎什麼都能提出,卻無法可靠地說出哪些提案值得做實驗。論文的答案是讓 LLM 繼續作為選項的來源,把最後的決定權交給一個以量測為基礎的模型,同時把擴大搜尋範圍也視為問題的一部分。這套做法在模擬之外是否成立,作者留待未來研究。
- 論文
- Large Discovery Models: Empirically-grounded Model-Based Open-Ended Search
- 作者
- Zhongwei Yu, Yan Song, Xue Yan, Anjie Liu, Xingyu Lu, Yihang Chen, Huichi Zhou, Siyuan Guo, Luoyang Sun, Sihan Chen, Xiangning Yu, Jun Wang et al.
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年8月16日
- 連結
- arxiv.org/abs/2608.15669
- 程式碼
- github.com/yzailab/Large-Discovery-Models
- 英文版
- An LLM proposes designs and a statistical model picks which ones get tested


