40の DNA モデルを同じ試験で比べ、総合順位が誤解を招く理由を示す
40のゲノム基盤モデルを100の DNA 課題で同じ方法で試すと、総合ランキングは課題の種類ごとの大きな差を覆い隠しており、モデルの大きさで説明できるのはその一部だけだった。

ゲノム基盤モデルは、数年の間に数十種類が登場した。DNA 配列で事前学習した大規模なニューラルネットワークで、さまざまな下流の予測タスクに使い回せるように作られている。どのモデルも性能の高さをうたって登場するが、その主張を互いに照らし合わせて確かめるのは難しい。Daria Ledneva、Mikhail Nuridinov、Denis Kuznetsov の各氏は、2026年に公開した査読を経ていないプレプリントで、GENEB を報告している。40のモデルを、13の生物学的カテゴリーにわたる100の DNA 分類タスクで、すべて同じ評価手順にかけるベンチマークである。著者らは、40のモデルのいずれも自分たちや資金提供者が開発したものではないと述べている。
著者らが取り組んだのは、評価がばらばらに行われているという問題だ。ゲノムモデルは通常、それぞれ異なるベンチマークで、互換性のないデータ前処理や評価方法のもとで試され、狭い条件でのみ最高性能とされることが多い。著者らは、どのモデルがどのモデルを比較対象(ベースライン)として引用しているかを図にして、この状況を示している。その図はまばらで、つながりが途切れている。著者らの例では、有力な3つのモデル DNA-GPT、GenomeOcean、Evo は、論文の時点では筋の通った条件で比較することができない。GENEB の主な知見は、1つの総合ランキングが、タスクのカテゴリーごとの大きな違いを覆い隠しているということだ。モデルの大きさは効いているが、その違いを説明しきれるわけではない。
仕組み
GENEB は、すべてのモデルを固定した特徴抽出器として扱う。各 DNA 配列をモデルに入力すると、その配列を内部で数値的に要約した埋め込みが出力される。モデル自体はそれ以上訓練しない。配列の各位置の埋め込みは平均して1つのベクトルにまとめる。これを平均プーリングという。そのうえで、単純な分類器であるロジスティック回帰をこのベクトルで訓練し、タスクの予測を行う。線形プロービングと呼ばれるこの手法は、埋め込みがもともとどれだけ有用な情報を含んでいるかを測るものだ。ファインチューニング(モデルの追加訓練)を行わないため、結果は再訓練でどこまで伸びるかではなく、各モデルの表現の質を反映する。
各タスクは3通りの条件で実行される。分類器を、ラベル付きの例1つ、10個、またはラベル付きデータ全体で訓練し、それぞれの結果を固定した5つの乱数シードで平均する。評価指標はマシューズ相関係数(MCC)である。−1から1の値をとり、0は偶然と同程度を意味する。単純な正解率と違い、データの大半を1つのクラスが占めていても数値が水増しされない。100,000件を超える配列を含むタスクは100,000件に削減する。著者らはその根拠として GenomeOcean の埋め込みを分析し、それ以上の規模ではスコアが頭打ちになることを示している。
スコアはまず13のカテゴリーごとに平均し、そのカテゴリー別スコアを等しい重みで平均する。この「マクロ平均」が主要な指標である。100のタスクすべてを等しく扱うため、タスク数の多いカテゴリーが有利になる「マイクロ平均」もあわせて報告している。設計上の選択の影響を切り分けるため、著者らは対照ペアも組んだ。主に1つの要因だけが異なり、他の要因はそろえた2つのモデルの組である。比べる要因は、アーキテクチャ、トークン化(モデルが読む単位に DNA の文字をどう区切るか)、事前学習データである。
結果が示すこと
単一のベースラインはなく、モデル同士を比べて順位をつけている。大きさは明らかに効く。著者らは、パラメータ数と総合スコアの間のスピアマンの順位相関係数(一方の量が増えると他方も増える傾向にあるかを、順位にもとづいて調べる指標)を測り、0.573という値を得た。原核生物(細菌型)のゲノムだけで訓練されたモデル Evo-1-131k を除くと、0.694に上がる。13のカテゴリーのうち11で、規模の効果は統計的に有意だった。それでも、その優位は控えめで、一貫しない。10億パラメータを超えるモデルは、2億パラメータ未満のモデルを MCC で平均0.075上回るにとどまる。著者らは次に、原核生物、微生物、植物の DNA だけで事前学習したモデルを除いた36のモデルを調べた。そのなかで、5分の1以下の大きさのモデルが大きなモデルを上回った例を25件数えている。8600万パラメータの MutBERT は、537M パラメータの eccDNAMamba を0.110上回った。マクロ平均とマイクロ平均の順位の相関は0.988で、順位はほとんど変わらない。
対照ペアからは、設計の影響がいくつか見えてくる。Transformer は、対照比較に使えた唯一の状態空間モデルである eccDNAMamba を上回った。状態空間モデルは、再帰的な内部状態を使って長い配列を効率よく処理する別系統のアーキテクチャだ。GenomeOcean-500M のスコアは0.550で、eccDNAMamba の0.419を上回る。配列全体を一度に読む Transformer エンコーダは、左から右へ読んで次の単位を予測するデコーダに、対照ペア6組すべてで勝った。差はとくに他の生物種を扱うタスクで大きく、ウイルス・ファージのタスクでは GenomeOcean-500M が eccDNAMamba を0.355上回った。例外はクロマチンアクセシビリティ、つまり DNA のある区間が細胞の装置に対して物理的に開いているかどうかを扱うカテゴリーで、ここでは eccDNAMamba が0.124上回った。全体で勝つトークン化方式はなく、対照比較での差の大半は100分の数程度にとどまる。多くの生物種で事前学習したモデルは、ヒトだけで事前学習したモデルを全体で0.018上回るにすぎず、その上積みの大半は一部のカテゴリーに集中している。主に微生物の DNA で訓練したモデルは、大半が真核生物を対象とするタスクにうまく転用できず、0.084下回った。
最も際立つのは、データが少ない場合の結果だ。40モデル全体の平均スコアは、全データで0.488、例10個で0.253、例1つで0.106に下がる。例1つの条件では、ウイルス・ファージ、DNA メチル化(DNA の塩基につく化学的な目印)、長鎖非コード RNA の3カテゴリーがほぼ偶然と同程度になる。性能の低いモデルほど絶対値での低下は小さいが、著者らはこれを本当の頑健さではなく、もともとの上限が低いためだとしている。データが少ないと、13のカテゴリーのうち8で最良のモデルが入れ替わる。全データを使っても、100のタスクのうち28は平均が0.35を下回る。カテゴリーごとの首位も、総合首位とは異なる。Enformer は総合では中位にとどまるが、転写因子結合、エンハンサー、調節領域の各カテゴリーでは1位になる。MutBERT は1億パラメータ以下で最も強いモデルで、総合スコアは0.529だった。
示されていないこと
著者らはいくつかの限界を挙げている。10,000塩基を超える非常に長距離のタスクは少ない。そのため、HyenaDNA-Large-1M や Evo-1-131k のような長い文脈を扱うモデルは、設計が最も生きるはずの場面で試されていない。13のカテゴリーのうち12は真核生物のものであり、総合順位は Evo-1-131k や DNABERT-S のような原核生物・微生物向けのモデルに系統的に不利になる。一部のタスク、とくに DNA メチル化と植物の長鎖非コード RNA は、ラベルにノイズがあったり定義があいまいだったりする可能性がある。重みが公開されていない、パイプラインが合わない、計算資源が足りないといった理由で、すべてのゲノムモデルを含めることはできなかった。ヒストン修飾とプロモーターのタスクが全体の半分以上を占めるため、マイクロ平均はこれらに偏る。
評価手順そのものにも制約がある。固定した埋め込みに対する線形プロービングは、ファインチューニングで達成できる性能を過小評価している可能性がある。著者らは、少し柔軟な分類器である小さなニューラルネットワークを使っても順位が保たれることを確かめたが、完全なファインチューニングとは比べていない。全体を通して平均プーリングを使っている。1文字ずつ区切る方式や固定長で区切る方式のトークン化は、学習によって区切りを決める方式よりもはるかに長い系列を生むが、プーリングとトークン化の相互作用は切り分けられていない。
研究の設計から生じる穴もある。設計要因に関する結論は、少数の対照ペアにもとづいている。Transformer と状態空間モデルの優劣の判断は、1つのモデルに依存している。厳選した真核生物の遺伝子で事前学習するほうが有利だという知見は1組のペアにもとづくもので、著者ら自身がその点を注記している。クロマチンアクセシビリティと状態空間モデルの設計との関連は暫定的なもので、著者らはこのカテゴリーがその恩恵を受ける可能性があると述べるにとどめている。少ない例で訓練する少数ショット条件のスコアの多くは下限近くにあり、著者らは、あるカテゴリーで少数ショット時に順位が入れ替わる結果について、評価手順の選び方に左右されやすいと説明している。サブサンプリングの閾値は、1つのモデルの埋め込みをもとに決められた。
位置づけ
著者らは GENEB を、自然言語処理のベンチマーク MTEB になぞらえている。MTEB は、単一タスクのランキングではなく、多数のタスクを1つの評価枠組みにまとめたものだ。著者らがより強く主張しているのは、ゲノム分野の総合ランキングへの異議である。データが少ない条件での総合順位は、カテゴリーの解きやすさとモデルの良さを混同していると著者らは論じる。カテゴリー別の結果がその根拠だ。総合表での順位からは、そのモデルが調節領域、メチル化、ウイルス DNA で首位に立つかどうかはほとんどわからない。
最も広い知見は記述的なもので、40のモデル、100のタスク、1つの評価手順、5つのシードにもとづく。ここが研究の最も確かな部分である。どのアーキテクチャ、トークン化方式、学習コーパスが優れているかという主張は、ひと握りの対照ペアにもとづいているため、はるかに重みが小さい。規模については、大きさは効くがそれだけで十分ではない、と読むのが妥当だろう。著者ら自身の数字は、全体でもほとんどのカテゴリーでも有意な相関を示す一方、小さなモデルが大きなモデルに勝つ例も数多く示している。
生物学を読む基盤モデルを扱うこのシリーズの最初の記事として、GENEB は地図の役割を果たす。どのゲノムモデルが最良かに決着をつけるものではない。示しているのは、その問いにすっきりした答えがめったに出なかった理由である。順位は、タスクのカテゴリー、使えるラベル付きデータの量、そして評価の組み立て方によって変わる。
- 論文
- GENEB: Why Genomic Models Are Hard to Compare
- 著者
- Daria Ledneva, Mikhail Nuridinov, Denis Kuznetsov
- 掲載
- arXiv プレプリント(査読前) · 2026年6月3日
- リンク
- arxiv.org/abs/2606.04525
- コード
- github.com/darlednik/GENEB
- 英語版
- Forty DNA models on one benchmark show why overall genomic AI rankings mislead


