←Discovery
    Discovery · 基因體 AI 評測 · 7 分鐘

    40 個 DNA 模型同場評比,說明基因體 AI 總排名為何會誤導

    以同一套測試讓 40 個基因體基礎模型跑 100 項 DNA 任務,發現總排行榜掩蓋了不同任務類型之間的巨大差異,模型大小只能解釋其中一部分。

    2026年11月13日 · arXiv 預印本(未經同儕審查)
    a scientist in a lab coat works at an automated lab station in a dim room
    Photo: National Cancer Institute

    過去幾年,已經出現數十個基因體基礎模型。這類大型神經網路先以 DNA 序列做預訓練,之後可以重複用在許多下游的預測任務上。每個模型問世時,往往都宣稱表現更好,但這些說法很難互相比對。Daria Ledneva、Mikhail Nuridinov 和 Denis Kuznetsov 在 2026 年一篇尚未經同儕審查的預印本中,介紹了名為 GENEB 的基準測試。它用同一套評估流程,讓 40 個這類模型跑過 13 個生物類別、共 100 項 DNA 分類任務。作者表示,這 40 個模型都不是由他們或他們的資助者開發的。

    他們想解決的是評測各自為政的問題。基因體模型通常在不同的基準測試上受測,資料前處理和評估方法互不相容,而且常常只在很窄的情境下被宣稱是最好的。作者用一張圖來說明:圖中標出各模型引用了哪些模型作為比較基準,結果這張圖稀疏又互不相連。以他們舉的例子來說,DNA-GPT、GenomeOcean 和 Evo 這三個知名模型,目前無法在有原則的基礎上互相比較。GENEB 的主要發現是,單一的總排名掩蓋了不同任務類別之間的巨大差異。模型大小有影響,但不足以完全解釋這些差異。

    運作方式

    GENEB 把每個模型都當成凍結的特徵擷取器。每段 DNA 序列輸入模型後,模型會產生一個嵌入向量(embedding),也就是模型內部對這段序列的數值摘要;模型本身不再接受任何訓練。序列上每個位置的嵌入向量會平均成一個向量,這個步驟稱為平均池化(mean pooling)。接著在這些向量上訓練一個簡單的分類器,也就是邏輯斯迴歸,來做該任務的預測。這種做法稱為線性探測(linear probing),用來衡量嵌入向量本身已經帶有多少有用的資訊。由於沒有納入微調,結果反映的是每個模型表徵的品質,而不是它重新訓練後能表現得多好。

    每項任務都用三種方式跑:探測分類器分別只用 1 個標註樣本、10 個,或完整的標註資料集來訓練,每個結果都是 5 個固定隨機種子的平均。評分指標是馬修斯相關係數(Matthews Correlation Coefficient,MCC),範圍從 −1 到 1,其中 0 代表和隨機猜測一樣;和單純的準確率不同,當資料中某一類占大多數時,它不會被灌水。超過 100,000 條序列的任務會被縮減到 100,000 條。作者的依據是一項以 GenomeOcean 嵌入向量所做的分析,顯示資料量超過這個規模後,分數就趨於平穩。

    分數先在 13 個類別內各自平均,再把這些類別分數以相同權重平均。這個「巨集平均」(macro-average)是主要指標。另外也一併報告「微平均」(micro-average),它讓 100 項任務的權重相同,因此偏向任務數多的類別。為了拆開各種設計選擇的影響,作者還建立了對照配對:兩個模型主要只在一個因素上不同,其他因素則彼此匹配。這些因素包括架構、分詞方式(tokenization,也就是把 DNA 字母切成模型讀取單位的方式)和預訓練資料。

    證據顯示什麼

    這項研究沒有單一的比較基準,而是讓模型彼此排名。模型大小顯然有幫助。作者計算了參數量和整體分數之間的斯皮爾曼相關係數(一種以排名為基礎、檢驗一個量是否隨另一個量上升的方法),結果為 0.573。若排除只用原核生物(細菌類)基因體訓練的 Evo-1-131k,相關係數提高到 0.694。在 13 個類別中,有 11 個的規模效應達到統計顯著。不過,這個優勢幅度不大,也不一致。參數超過 10 億的模型,平均比 2 億以下的模型高 0.075 MCC。作者接著檢視 36 個模型,排除了只以原核生物、微生物或植物 DNA 預訓練的模型。在這些模型中,他們數出 25 個案例,是至少小 5 倍的模型勝過較大的模型。參數量 8,600 萬的 MutBERT,分數比參數量 537 百萬的 eccDNAMamba 高 0.110。巨集平均和微平均下的排名幾乎沒有變化,兩者的相關係數為 0.988。

    對照配對指出了一些設計上的影響。Transformer 勝過 eccDNAMamba,後者是唯一能拿來做匹配比較的狀態空間模型。狀態空間模型是另一種架構,透過類似遞迴的內部狀態,有效率地處理長序列。GenomeOcean-500M 得到 0.550,eccDNAMamba 則是 0.419。在全部 6 組匹配配對中,Transformer 編碼器(一次讀完整段序列)都勝過解碼器(由左往右讀,並預測下一個單位)。在涉及其他物種的任務上,差距特別大:在病毒與噬菌體任務中,GenomeOcean-500M 領先 eccDNAMamba 0.355。染色質可及性是例外,指的是一段 DNA 在物理上是否敞開、讓細胞的分子機制能夠接觸。在這個類別裡,eccDNAMamba 領先 0.124。沒有哪一種分詞方式整體勝出,大多數匹配比較的差距都只有零點零幾。以多物種資料預訓練,整體上只比只用人類資料預訓練高 0.018,而且增益大多集中在少數幾個類別。主要以微生物 DNA 訓練的模型,轉移到以真核生物為主的任務時表現不佳,落後 0.084。

    最鮮明的結果和資料稀少有關。在全部 40 個模型中,平均分數從使用完整資料時的 0.488,降到 10 個樣本時的 0.253,再降到 1 個樣本時的 0.106。只有 1 個樣本時,有 3 個類別接近隨機:病毒與噬菌體、DNA 甲基化(DNA 鹼基上的化學標記),以及長鏈非編碼 RNA。較弱的模型在絕對值上掉得比較少,作者認為這是因為它們的上限本來就低,而不是真的比較穩健。資料很少時,13 個類別中有 8 個的最佳模型會換人。即使用完整資料,100 項任務中仍有 28 項的平均分數低於 0.35。各類別的領先者也和整體領先者不同。Enformer 的總排名只在中等,卻在轉錄因子結合、增強子和調控類任務中拿下第一。MutBERT 是參數量 1 億以下(含)最強的模型,整體分數為 0.529。

    沒有證明什麼

    作者列出了幾項限制。超過 10,000 個 DNA 字母的超長距離任務數量偏少,因此 HyenaDNA-Large-1M 和 Evo-1-131k 這類長上下文模型,並沒有在它們的設計最能發揮的地方受測。13 個類別中有 12 個屬於真核生物,所以整體排名會系統性地不利於 Evo-1-131k 和 DNABERT-S 這類原核生物與微生物模型。有些任務的標註可能有雜訊或定義不夠明確,尤其是 DNA 甲基化和植物的長鏈非編碼 RNA。並非所有基因體模型都能納入,原因包括權重無法取得、流程不相容或運算資源有限。組蛋白修飾和啟動子任務占整套任務的一半以上,使微平均偏向這兩類。

    評測流程本身也劃定了界線。在凍結的嵌入向量上做線性探測,可能低估了微調能達到的效果。作者確認過,換成稍微彈性一點的分類器(一個小型神經網路)時排名依然成立,但沒有和完整微調比較。整個研究都使用平均池化,它和分詞方式之間的交互作用並沒有被拆開來看;然而,逐字母分詞和固定長度分段的分詞器,產生的序列會比學習式分段的方案長得多。

    其他缺口來自研究設計。關於設計因素的結論,建立在少數幾組匹配配對上。Transformer 與狀態空間模型孰優孰劣的判斷,只取決於一個模型。偏好以精選真核生物基因預訓練的發現,只靠一組配對,作者自己也指出了這一點。染色質可及性與狀態空間設計之間的關聯仍屬初步推測;作者只說這個類別可能受惠於這類設計。許多少樣本(few-shot)分數都貼近底部,作者也形容其中一個類別在少樣本下的排名變動,容易受評測流程的選擇影響。縮減資料量的門檻,是用單一模型的嵌入向量來設定的。

    研究定位

    作者把 GENEB 比作自然語言處理領域的 MTEB;MTEB 是一個把許多任務整合進同一套評估框架的基準測試,而不是單一任務的排行榜。他們更尖銳的論點,是反對基因體領域的整體排行榜。他們主張,在資料量少的情境下,整體排名把一個類別有多容易,和一個模型有多好混為一談。逐類別的結果就是支持這個觀點的證據。一個模型在總表上的名次,幾乎無法說明它在調控元件、甲基化或病毒 DNA 上是否領先。

    最廣泛的發現是描述性的:40 個模型、100 項任務、一套流程、5 個隨機種子。這是整項研究最紮實的部分。至於哪種架構、分詞器或訓練語料比較好的說法,分量就輕得多,因為它們只建立在寥寥幾組匹配配對上。關於規模的結論,最好理解為「大小有影響,但並不足夠」。作者自己的數字顯示,整體以及多數類別都有顯著的相關,同時也有許多小模型勝過大模型的案例。

    作為本系列「解讀生物學的基礎模型」的第一篇,GENEB 的角色像一張地圖。它並沒有回答哪個基因體模型最好,而是說明了為什麼這個問題很少有乾淨俐落的答案:排名取決於任務類別、可用的標註資料有多少,以及評估是怎麼設定的。

    論文
    GENEB: Why Genomic Models Are Hard to Compare
    作者
    Daria Ledneva, Mikhail Nuridinov, Denis Kuznetsov
    刊登
    arXiv 預印本(未經同儕審查) · 2026年6月3日
    連結
    arxiv.org/abs/2606.04525
    程式碼
    github.com/darlednik/GENEB
    英文版
    Forty DNA models on one benchmark show why overall genomic AI rankings mislead

    中文版報導

    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · 果蠅求偶

    食物氣味加上群體動態,開啟一種果蠅的求偶行為

    2026 年一項 Nature 研究發現,Drosophila erecta 果蠅的雄蠅會被食物氣味引發性興奮,群體動態再加以放大;少了這樣的環境,就不會交配。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 串流影片生成

    用獎勵分數告訴快速影片模型該把訓練重點放在哪裡

    Stream-R1 依獎勵模型的評分,為每段訓練影片、每個影格和區域加權,在相同速度下於基準測試小幅勝過直接對照的基準方法。

    arXiv 預印本 · 2026年5月5日

    Photo: Pascal Bernardon

    Far Field · 黑洞純量雲

    偏心軌道放大輕粒子雲在黑洞訊號上留下的痕跡

    發表在 Physical Review Letters 的計算發現,偏心旋近在最內側軌道附近出現共振,會加強純量雲在重力波上留下的痕跡。

    Physical Review Letters · 2026年10月20日