ASIA
    ←Discovery
    Discovery · LLM と科学探索 · 9分
    HONG KONG · Hong Kong University of Science and Technology

    LLM が設計案を出し、統計モデルが試す候補を選ぶ

    2026年のプレプリントで示された Large Discovery Model は、LLM の提案と、予測値と不確実性を勘案する統計モデルを組み合わせ、高コストな試験に回す候補を決める。

    2026年11月9日 · arXiv プレプリント(査読前)
    a scientist works at a stereo microscope with a fine probe, vintage colour
    Photo: National Cancer Institute

    Zhongwei Yu 氏、Jun Wang 氏らは、自らのシステムを Large Discovery Model(LDM)と呼ぶ。ただし、それは単一のモデルというより、役割を分担するループである。大規模言語モデル(LLM)が、学習プログラムの編集、抗体のループ配列、低分子といった候補設計を提案する。それまでの結果に当てはめた統計モデルが、各候補がどれほど良さそうか、その見積もりがどれほど不確かかを推定する。この2つを組み合わせた指標で高い評価を得た候補が、コストの高い評価に回される。この研究は2026年に arXiv で公開された、査読を経ていないプレプリントで、著者らは初期の v0.1 リリースと位置づけている。

    狙いは、科学的な探索の多くに共通する形だ。探索空間は広大で構造をもち、1回の試験は高コストで、しばしばノイズが多く中身が見えない。そのため、試せる候補はごく一部に限られる。LLM は有効な候補を生成できる。しかし著者らは、モデルの尤度や自己評価は実験で測られる値の代わりとしては不十分で、特に見慣れない設計については不確実性の指針として信頼できないと主張する。推論時に計算を重ねて考える手法がうまくいくのは、単体テストのように試行を素早く繰り返し採点できる安価な検証器がある場合だ。発見の場面には、それがないことが多い。論文が賭けるのは、判断は測定に基づき、自分が何を知らないかを知っているモデルが下すべきだという考え方である。

    仕組み

    提案役の LLM は、逐次更新されるコンテキストを条件として設計を生成する。そのコンテキストには、過去の結果、LLM 自身の振り返り、そして代理モデル(サロゲート)の予測を含められる。サロゲートとは、実際の試験の代わりに使う安価なモデルだ。ここでは、少数の試験済み設計から学習する統計モデルであるガウス過程(GP)を使う。GP は未試験の設計それぞれについて、予測スコアと、データが増えるほど狭まる不確実性の幅を示す。獲得関数はこの2つを、候補がどれだけ試す価値があるかを表す1つの数値にまとめる。著者らは標準的な規則を用いている。期待改善量(EI)は、候補が現時点の最良をどれだけ上回ると期待できるかを評価する。上側信頼限界(UCB)は、予測値に不確実性の定数倍を足す。期待超体積改善量(Expected Hypervolume Improvement)は、複数の目的が競合する場合を扱う。

    著者らは、獲得スコアの高さに報酬を与える一方、LLM 本来の傾向から大きく外れることには罰則を科す目的関数から出発する。そこから、理想的な探索分布は、LLM の提案分布を獲得スコアの高い候補へ指数的に重みづけし直したものになることを示している。これを厳密にサンプリングすることはできない。そこで各ラウンドで LLM が候補群を提案し、サロゲートがそれを採点する。システムはそのうえで、獲得スコアが高いほど選ばれやすい確率でサンプリングするか、最高得点の候補を残す。後者は best-of-N と呼ばれる手法だ。候補の生まれ方は2通りある。直接生成では、LLM が設計を丸ごと書き、妥当性チェッカーがふるいにかける。間接パラメータ化では、LLM がどのつまみを調整するかとその範囲を選び、別のサンプラーが具体的な値を埋め、GP はその選ばれた部分空間だけをモデル化する。

    進展が止まると、振り返りの段階で LLM が探索の次元を追加したり作り直したりする。著者らはこれを発見メカニズムと呼び、理論の柱に据えている。各ラウンドで最良の設計に届かない差は、ちょうど2つの部分に分かれる。1つ目は発見ギャップで、LLM が現在届く範囲内の最良設計が、真の最適からどれだけ劣るかを表す。2つ目は最適化リグレットで、選ばれた設計が、届く範囲内の最良からどれだけ劣るかを表す。この見方では、獲得関数による選択は2つ目の項に働きかけ、振り返りで広げられる LLM の提案が1つ目の項を左右する。オプションとして、候補群と獲得値で重みづけされた選択の記録を使い、提案役をファインチューニング(追加学習)することもできる。すると提案役は、生のスコアではなく、サロゲートが評価するであろうものを学ぶ。推論強化版では、提案の前にまず、サロゲートに基づいて進捗についての根拠を書く。

    実験が示すこと

    3つの検証はいずれも計算機上で行われた。1つ目は autoresearch で、Karpathy 氏が2026年に公開したプロジェクトだ。AI のコーディングエージェントが学習スクリプトを編集し、各編集は小さな言語モデルを5分間学習させて評価する。スコアは検証用ビット毎バイト(val_bpb)で、未見のテキストをモデルがどれだけうまく予測するかを表し、低いほど良い。LDM は間接パラメータ化と EI を用いた。比較対象は元の LLM のみのループで、同じコーディングモデル、同じ環境、H100 GPU 上で1回5分という予算をそろえた。両者とも1.0069から出発した。ベースラインは約255回の実行後に約0.9767で頭打ちになったのに対し、LDM は0.9342に達した。削減幅はベースラインの約2.4倍にあたる。B200 で別に行った LDM の実行は、59回で0.9023に達し、autoresearch@home のリーダーボードの2つのエントリー(0.9264と0.9274)を上回った。LDM が採用した編集は、アーキテクチャの変更から、より幅の狭いモデル、別の学習用オプティマイザーまで多岐にわたった。

    構成要素を1つずつ変えるアブレーション実験も、同じ方向を示した。1ラウンドあたり64個の候補を採点すると、16個の場合より良い水準で頭打ちになった。最初の反復の後に探索する特徴を固定すると発見メカニズムが働かなくなり、探索はより悪い水準で頭打ちになった。予測スコアだけで選ぶ方式は、序盤こそ互角だったが、不確実性を考慮するどちらの規則よりも悪い値で頭打ちになり、最も良かったのは UCB だった。サロゲートを使わない純粋な LLM ループは、875回の実験の後に0.956付近で頭打ちになった。

    2つ目の検証は抗体設計だ。対象は CDRH3 で、抗体が何に結合するかを大きく左右する約11個のアミノ酸からなるループである。可能な配列はおよそ200兆通りになる。各配列は、結合エネルギーをシミュレーションする Absolut! によって、5種類の抗原に対して採点された。LLM が配列を直接書く方式は、LLM 単体よりわずかに良いだけだった。著者らの方策ベースの方式はそれより良く、抗体専用に作られた手法 AntBO に匹敵する親和性に達した。ランダム探索、純粋な LLM 生成、組合せ最適化手法の TURBO と COMBO とも比較した。3つ目の検証では、がんに関わる変異タンパク質 KRAS G12D を標的に分子を最適化した。ドッキングスコアと、著者らが神経活性と呼ぶ特性という2つの目標を同時に追求した。評価指標は超体積で、最良のトレードオフ群が目的空間のどれだけを支配しているかを測る。要旨は抗体と分子の結果を、LLM のみの振り返りや従来の統計的探索と比べてまとめ、結合エネルギーが相対的に18.2%低下したと報告している。また、多目的の分子性能で相対的に60%を超える向上も報告している。

    ファインチューニングでは、提案役に Qwen3.5-9B を使った。autoresearch の80回の反復では、推論付きのファインチューニング済みモデルが0.9788に達した。これは、より大きな Qwen3-Coder-30B の0.9801をわずかに上回る。ファインチューニングも推論もない基本モデルは0.9965にとどまった。ファインチューニングは、5種類の抗原にわたって基本の提案役を上回った。分子の課題では、これが別の問題にも通用するかを調べた。80回の評価で、推論強化のファインチューニング済みモデルが、5つの方策の中で最終的な超体積が最も高かった。

    示されていないこと

    ここで示されたことは、どれも実験室を経ていない。結合エネルギーやドッキングスコアは、実際の測定の代わりを務めるプログラムである計算上のオラクルから得られたものだ。著者らはウェットラボでの検証を今後の課題に挙げている。著者らの発見の定義が対象とするのは、探索空間、評価、目的を書き下せる問題だけだ。また、発見はエージェントの事前知識に照らして数えられるため、分野全体から見れば再発見かもしれない。

    2.4倍という数字は、LDM の到達点を、約255回の実行後にベースラインが止まった地点と比べたものだ。別の純粋な LLM ループは875回の実験を行い、0.956付近で頭打ちになった。これで差は縮まるが、著者らはそれでも LDM の0.934よりかなり高い値だとしている。こうした探索は確率的なので、どんな差も、それを支える繰り返し実行の数に見合った確かさしかない。リーダーボードのエントリーは外部の環境によるものだ。著者らは自分たちの実行をハードウェアをそろえたものと説明しているが、それでもこの比較は統制された比較というより示唆にとどまる。表1は、採用された個々の編集による改善を合計約0.084としている。どの実行によるものかは書かれておらず、H100 での0.073の削減と照らし合わせることはできない。

    ほかの差も小さい。抗体では、LDM は AntBO を上回ったのではなく、並んだにすぎない。ファインチューニングでは、0.9788対0.9801は大きなモデルに対するわずかなリードだ。推論付きの基本モデル(0.9825)も、推論なしのファインチューニング済みモデル(0.9829)をわずかに上回った。このベンチマークでは、推論の段階が学習とほぼ同じだけの効果をもたらしたことになる。

    理論と実践にも食い違いがある。リグレット解析は、UCB による獲得、1回に1つずつの評価、較正の取れたサロゲートなどを前提としている。また、LLM の提案が最適点周辺の領域をどれだけ覆うかにも条件を課している。一方、autoresearch の実行では、EI をバッチで使い、多様性の項を加えた。そこでは GP がプログラムそのものを見ることもない。見るのは LLM が選んだ低次元のパラメータの組だけで、GP 内部の設定は固定されている。著者らは、データが少ないときの安定性のためにこの方式を採っている。したがって、サロゲートが問題をどう捉えるかは、LLM がどのつまみを示すかによって限られる。

    位置づけ

    論文は、安価な検証器に頼る推論時探索と自らを対比させている。この系統には、chain-of-thought、tree of thoughts、Self-Refine から、AlphaZero 型の探索、AlphaEvolve、o1、DeepSeek-R1 までが含まれる。著者らは、自律的な研究エージェント(Lu et al., 2024)や LLM が書いた研究提案(Si et al., 2024)を、流暢な生成だけでは不十分だという証拠として挙げる。それらの提案は多様性が限られ、実現可能性も弱く、LLM は自分のアイデアを確実には評価できなかった。また、LLM の尤度が測定された特性と一致するとは限らないことを示した Gupta et al. と Chang et al.(2025)の研究も引用している。

    ベイズ最適化は、EGO や GP-UCB のように、少ない観測から高コストな実験を選ぶための手法群だ。著者らはそこから、原理に基づき不確実性を考慮した選択を取り入れている。こうした手法だけでは欠けているもの、つまり問題の表現と候補を提案する手段を、LLM が補う。著者らは無限腕バンディットの枠組みも借りている。選択肢をすべて列挙できず、何らかの供給源から引き出す必要がある状況を扱う枠組みで、ここでは LLM がその適応的な供給源(リザーバー)にあたる。LLM と最適化を組み合わせた先行例のうち、著者らは OPRO を較正された不確実性を欠くものと評している。LLAMBO、BoChemian、LABO は、LLM をベイズ最適化に組み込む先行手法として紹介している。著者らが主張する違いは、獲得値が生成、計算、ファインチューニングのすべてを導く点にある。他の手法は、人間の選好、検証器、報酬モデルのスコアによって導かれる。

    機械がどう発見しうるかという問いへの糸口として、この論文は鋭い緊張関係を切り出している。生成モデルはほとんど何でも提案できるほど表現力があるのに、どの提案が実験に値するかを確実には言えない。論文の答えは、LLM を選択肢の供給源として残し、決定票を測定に根ざしたモデルに委ねるというものだ。探索の範囲を広げること自体も問題の一部として扱っている。それがシミュレーションの外でも成り立つかどうかは、著者らが今後の課題として残している。

    論文
    Large Discovery Models: Empirically-grounded Model-Based Open-Ended Search
    著者
    Zhongwei Yu, Yan Song, Xue Yan, Anjie Liu, Xingyu Lu, Yihang Chen, Huichi Zhou, Siyuan Guo, Luoyang Sun, Sihan Chen, Xiangning Yu, Jun Wang et al.
    掲載
    arXiv プレプリント(査読前) · 2026年8月16日
    リンク
    arxiv.org/abs/2608.15669
    コード
    github.com/yzailab/Large-Discovery-Models
    英語版
    An LLM proposes designs and a statistical model picks which ones get tested

    日本語版の記事

    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables
    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables

    Physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables · Photo: Devon Rogers

    Substrate · 交替磁性

    正味の磁化がない磁性体 MnTe で、スピン分裂した電子バンドを観測

    テルル化マンガンの光電子分光を計算と照合した結果、共線磁性体の第3の分類として提案されている交替磁性体に予測されたスピン分裂が確認された。

    Nature · 2024年2月14日
    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · ハエの求愛行動

    食べ物のにおいと群れの動きが、あるショウジョウバエの求愛を始動させる

    2026年の Nature 論文によれば、Drosophila erecta では食べ物のにおいが雄の性的興奮を引き起こし、群れの動きがそれを強めるため、この環境がなければ交尾は起きない。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 動画生成の蒸留

    報酬モデルの採点で高速動画モデルの学習の重点を決める

    Stream-R1 は学習用の動画、フレーム、領域ごとに報酬モデルの判定で重みを付け、同じ速度のまま直接の比較対象をベンチマークでわずかに上回った。

    arXiv プレプリント · 2026年5月5日