40 個 DNA 模型同場評比,說明基因體 AI 總排名為何會誤導
以同一套測試讓 40 個基因體基礎模型跑 100 項 DNA 任務,發現總排行榜掩蓋了不同任務類型之間的巨大差異,模型大小只能解釋其中一部分。

過去幾年,已經出現數十個基因體基礎模型。這類大型神經網路先以 DNA 序列做預訓練,之後可以重複用在許多下游的預測任務上。每個模型問世時,往往都宣稱表現更好,但這些說法很難互相比對。Daria Ledneva、Mikhail Nuridinov 和 Denis Kuznetsov 在 2026 年一篇尚未經同儕審查的預印本中,介紹了名為 GENEB 的基準測試。它用同一套評估流程,讓 40 個這類模型跑過 13 個生物類別、共 100 項 DNA 分類任務。作者表示,這 40 個模型都不是由他們或他們的資助者開發的。
他們想解決的是評測各自為政的問題。基因體模型通常在不同的基準測試上受測,資料前處理和評估方法互不相容,而且常常只在很窄的情境下被宣稱是最好的。作者用一張圖來說明:圖中標出各模型引用了哪些模型作為比較基準,結果這張圖稀疏又互不相連。以他們舉的例子來說,DNA-GPT、GenomeOcean 和 Evo 這三個知名模型,目前無法在有原則的基礎上互相比較。GENEB 的主要發現是,單一的總排名掩蓋了不同任務類別之間的巨大差異。模型大小有影響,但不足以完全解釋這些差異。
運作方式
GENEB 把每個模型都當成凍結的特徵擷取器。每段 DNA 序列輸入模型後,模型會產生一個嵌入向量(embedding),也就是模型內部對這段序列的數值摘要;模型本身不再接受任何訓練。序列上每個位置的嵌入向量會平均成一個向量,這個步驟稱為平均池化(mean pooling)。接著在這些向量上訓練一個簡單的分類器,也就是邏輯斯迴歸,來做該任務的預測。這種做法稱為線性探測(linear probing),用來衡量嵌入向量本身已經帶有多少有用的資訊。由於沒有納入微調,結果反映的是每個模型表徵的品質,而不是它重新訓練後能表現得多好。
每項任務都用三種方式跑:探測分類器分別只用 1 個標註樣本、10 個,或完整的標註資料集來訓練,每個結果都是 5 個固定隨機種子的平均。評分指標是馬修斯相關係數(Matthews Correlation Coefficient,MCC),範圍從 −1 到 1,其中 0 代表和隨機猜測一樣;和單純的準確率不同,當資料中某一類占大多數時,它不會被灌水。超過 100,000 條序列的任務會被縮減到 100,000 條。作者的依據是一項以 GenomeOcean 嵌入向量所做的分析,顯示資料量超過這個規模後,分數就趨於平穩。
分數先在 13 個類別內各自平均,再把這些類別分數以相同權重平均。這個「巨集平均」(macro-average)是主要指標。另外也一併報告「微平均」(micro-average),它讓 100 項任務的權重相同,因此偏向任務數多的類別。為了拆開各種設計選擇的影響,作者還建立了對照配對:兩個模型主要只在一個因素上不同,其他因素則彼此匹配。這些因素包括架構、分詞方式(tokenization,也就是把 DNA 字母切成模型讀取單位的方式)和預訓練資料。
證據顯示什麼
這項研究沒有單一的比較基準,而是讓模型彼此排名。模型大小顯然有幫助。作者計算了參數量和整體分數之間的斯皮爾曼相關係數(一種以排名為基礎、檢驗一個量是否隨另一個量上升的方法),結果為 0.573。若排除只用原核生物(細菌類)基因體訓練的 Evo-1-131k,相關係數提高到 0.694。在 13 個類別中,有 11 個的規模效應達到統計顯著。不過,這個優勢幅度不大,也不一致。參數超過 10 億的模型,平均比 2 億以下的模型高 0.075 MCC。作者接著檢視 36 個模型,排除了只以原核生物、微生物或植物 DNA 預訓練的模型。在這些模型中,他們數出 25 個案例,是至少小 5 倍的模型勝過較大的模型。參數量 8,600 萬的 MutBERT,分數比參數量 537 百萬的 eccDNAMamba 高 0.110。巨集平均和微平均下的排名幾乎沒有變化,兩者的相關係數為 0.988。
對照配對指出了一些設計上的影響。Transformer 勝過 eccDNAMamba,後者是唯一能拿來做匹配比較的狀態空間模型。狀態空間模型是另一種架構,透過類似遞迴的內部狀態,有效率地處理長序列。GenomeOcean-500M 得到 0.550,eccDNAMamba 則是 0.419。在全部 6 組匹配配對中,Transformer 編碼器(一次讀完整段序列)都勝過解碼器(由左往右讀,並預測下一個單位)。在涉及其他物種的任務上,差距特別大:在病毒與噬菌體任務中,GenomeOcean-500M 領先 eccDNAMamba 0.355。染色質可及性是例外,指的是一段 DNA 在物理上是否敞開、讓細胞的分子機制能夠接觸。在這個類別裡,eccDNAMamba 領先 0.124。沒有哪一種分詞方式整體勝出,大多數匹配比較的差距都只有零點零幾。以多物種資料預訓練,整體上只比只用人類資料預訓練高 0.018,而且增益大多集中在少數幾個類別。主要以微生物 DNA 訓練的模型,轉移到以真核生物為主的任務時表現不佳,落後 0.084。
最鮮明的結果和資料稀少有關。在全部 40 個模型中,平均分數從使用完整資料時的 0.488,降到 10 個樣本時的 0.253,再降到 1 個樣本時的 0.106。只有 1 個樣本時,有 3 個類別接近隨機:病毒與噬菌體、DNA 甲基化(DNA 鹼基上的化學標記),以及長鏈非編碼 RNA。較弱的模型在絕對值上掉得比較少,作者認為這是因為它們的上限本來就低,而不是真的比較穩健。資料很少時,13 個類別中有 8 個的最佳模型會換人。即使用完整資料,100 項任務中仍有 28 項的平均分數低於 0.35。各類別的領先者也和整體領先者不同。Enformer 的總排名只在中等,卻在轉錄因子結合、增強子和調控類任務中拿下第一。MutBERT 是參數量 1 億以下(含)最強的模型,整體分數為 0.529。
沒有證明什麼
作者列出了幾項限制。超過 10,000 個 DNA 字母的超長距離任務數量偏少,因此 HyenaDNA-Large-1M 和 Evo-1-131k 這類長上下文模型,並沒有在它們的設計最能發揮的地方受測。13 個類別中有 12 個屬於真核生物,所以整體排名會系統性地不利於 Evo-1-131k 和 DNABERT-S 這類原核生物與微生物模型。有些任務的標註可能有雜訊或定義不夠明確,尤其是 DNA 甲基化和植物的長鏈非編碼 RNA。並非所有基因體模型都能納入,原因包括權重無法取得、流程不相容或運算資源有限。組蛋白修飾和啟動子任務占整套任務的一半以上,使微平均偏向這兩類。
評測流程本身也劃定了界線。在凍結的嵌入向量上做線性探測,可能低估了微調能達到的效果。作者確認過,換成稍微彈性一點的分類器(一個小型神經網路)時排名依然成立,但沒有和完整微調比較。整個研究都使用平均池化,它和分詞方式之間的交互作用並沒有被拆開來看;然而,逐字母分詞和固定長度分段的分詞器,產生的序列會比學習式分段的方案長得多。
其他缺口來自研究設計。關於設計因素的結論,建立在少數幾組匹配配對上。Transformer 與狀態空間模型孰優孰劣的判斷,只取決於一個模型。偏好以精選真核生物基因預訓練的發現,只靠一組配對,作者自己也指出了這一點。染色質可及性與狀態空間設計之間的關聯仍屬初步推測;作者只說這個類別可能受惠於這類設計。許多少樣本(few-shot)分數都貼近底部,作者也形容其中一個類別在少樣本下的排名變動,容易受評測流程的選擇影響。縮減資料量的門檻,是用單一模型的嵌入向量來設定的。
研究定位
作者把 GENEB 比作自然語言處理領域的 MTEB;MTEB 是一個把許多任務整合進同一套評估框架的基準測試,而不是單一任務的排行榜。他們更尖銳的論點,是反對基因體領域的整體排行榜。他們主張,在資料量少的情境下,整體排名把一個類別有多容易,和一個模型有多好混為一談。逐類別的結果就是支持這個觀點的證據。一個模型在總表上的名次,幾乎無法說明它在調控元件、甲基化或病毒 DNA 上是否領先。
最廣泛的發現是描述性的:40 個模型、100 項任務、一套流程、5 個隨機種子。這是整項研究最紮實的部分。至於哪種架構、分詞器或訓練語料比較好的說法,分量就輕得多,因為它們只建立在寥寥幾組匹配配對上。關於規模的結論,最好理解為「大小有影響,但並不足夠」。作者自己的數字顯示,整體以及多數類別都有顯著的相關,同時也有許多小模型勝過大模型的案例。
作為本系列「解讀生物學的基礎模型」的第一篇,GENEB 的角色像一張地圖。它並沒有回答哪個基因體模型最好,而是說明了為什麼這個問題很少有乾淨俐落的答案:排名取決於任務類別、可用的標註資料有多少,以及評估是怎麼設定的。
- 論文
- GENEB: Why Genomic Models Are Hard to Compare
- 作者
- Daria Ledneva, Mikhail Nuridinov, Denis Kuznetsov
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年6月3日
- 連結
- arxiv.org/abs/2606.04525
- 程式碼
- github.com/darlednik/GENEB
- 英文版
- Forty DNA models on one benchmark show why overall genomic AI rankings mislead


