用稀疏自編碼器追蹤 MoE 模型各專家驅動的窄範圍特徵
字節跳動 Seed 的預印本把特徵活化值精確拆分到模型的各個專家,發現多數特徵由一或兩個專家驅動,主題則由另一個 AI 標註。

混合專家(mixture-of-experts,MoE)語言模型擁有許多稱為「專家」的子網路,每個 token(一個詞或詞的片段)只會被送到其中少數幾個,由一個叫做路由器(router)的元件挑選。單一專家到底負責什麼,學界看法不一:有些研究發現專家和學科領域相關,另一些則發現路由是由表層特性決定,例如 token 本身是哪一個。字節跳動 Seed 團隊在 2026 年發表一篇尚未經同儕審查的預印本,主張兩派都依賴同一種粗糙的工具:在人工分成少數幾個領域的文本上,計算某個專家被選中的次數。這種做法事先就把類別定死,而且是替整份文件貼標籤,而不是逐個 token,所以數學題裡用來鋪陳情境的故事,仍會被算成數學。它也忽略了路由器給每個被選中專家的權重有多大。
作者改為衡量「貢獻」。他們訓練了一個稀疏自編碼器(sparse autoencoder,SAE),這種模型會把某一層的輸出改寫成許多學習而來的方向的稀疏組合;這些方向稱為 latent,通常比原始神經元更容易解讀。MoE 層的輸出是各專家輸出依路由器權重加總的結果,而 SAE 的編碼器是一個線性映射加上一個偏置項(bias)。因此,每個 latent 在經過活化截斷之前的值,可以精確拆成編碼器的偏置項,加上每個啟用專家各一項。保留其中的正值部分、再對整個語料取平均,就能得出每個專家在每個 latent 中所占的比例。若某個專家的占比達到 0.2,就稱它「主導」這個 latent;若平均分配,每個專家約只有 0.008。研究使用的模型是 Qwen3-30B-A3B,每個 MoE 層有 128 個專家,每個 token 啟用其中 8 個,沒有共享專家。統計數字來自一組 1.5B 個 token 的保留資料集(held-out set)。
一個明顯的疑慮是,貢獻集中可能只是反映路由器給的權重本來就不平均。作者分別依門控權重(gating weight,即路由器給的權重)和貢獻,替 8 個啟用專家排名。他們表示,在第 30 層,排第一的專家平均拿到 0.231 的門控權重,卻占了 0.512 的貢獻;而在 8 個名次的最後一名,門控權重平均為 0.074,貢獻則是 0.005。捨棄負值項並不是造成這個落差的主因:在這一層,8 個專家中平均有 1.29 個的項被捨棄。在第 4、30、46 層,恰好由一個專家主導的 latent 分別占 57.4%、62.1% 和 56.7%,有三個以上主導者的 latent 則從未超過 3.7%。在每一層,128 個專家全都主導了一些 latent,最忙的十個專家最多只占所有「專家—latent」連結的 30.1%。重疊程度用 Jaccard 相似度衡量,也就是共有項目數除以所有不重複項目數。結果重疊很少:在第 30 層的 8128 組專家配對中,只有 20 組超過 0.05。
為了替這些特徵賦予意義,研究團隊讓 GPT-5.5 根據每個 latent 被觸發時的上下文,描述第 30 層每個專家最多 2000 個抽樣 latent。被路由到專家 72 最多的 token 大多是功能詞,但它的 latent 除了演算法和資料結構,還涵蓋運動與健康。其中一個編號 F97783 的 latent,只在二分搜尋迴圈裡的 <= 上觸發。GPT-5.5 也替四個專家評判了主題占比:一個 Java 專家為 86.7%,一個幾何專家為 78.1%。從其他 127 個專家隨機抽出 2000 個 latent 組成的對照組,在相同主題上分別為 1.9% 和 2.0%。接著 GPT-5.5 把專家分成 11 個大小懸殊的領域:電腦運算 28 個、文本形式 21 個、數學與推理 20 個,而藝術只出現在單一專家的標籤裡。其中三個領域根本不是學科(文本形式、語言,以及實體與識別碼),合計涵蓋 36 個專家。重疊程度最高的 20 組配對中,有 19 組屬於同一領域,而在所有配對中,同領域的只占 12.8%。
結構上的統計建立在精確的代數上,但對意義的解讀根據較薄弱。研究只分析了一個模型,解讀也只涵蓋第 30 層,作者的理由是各層的結構相似。所有說明都由 GPT-5.5 撰寫,所有主題由它評判,分組也由它完成,論文正文沒有報告任何人工檢核。量化的主題分析只涵蓋四個展示用的專家,而且專業分工並不總是那麼乾淨:一個算術與多項式專家的得分是 59.1%,第 30 層也有 13.6% 的 latent 沒有主導專家。研究只用了單一個主導門檻。這種歸因也不是因果檢驗,因為研究沒有做消融(ablation)或引導(steering)實驗;作者只把編輯某個專家會產生什麼效果當作假說提出。他們還認為各領域大小不均反映了訓練資料,但這只是推測,因為 Qwen3 沒有公開資料組成,作者是拿 Llama 3 的資料組成來代替。
這個缺少的介入實驗,其他可解釋性研究已經做過。braintankAI 曾報導一篇預印本:在以共享參數同時寫文字和畫圖的模型中,從文字裡找到的引導向量(steering vector),也會讓圖像生成跟著偏移(相關報導)。換到這項研究,對應的檢驗就是編輯某一個專家,看它主導的特徵是否隨之改變。
- 論文
- SAE Interprets MoE: Sparse AutoEncoders Reveal That MoE Experts Exhibit Human-Interpretable Fine-Grained Specialization
- 作者
- Anyuan Zhuo, Shaohua Zhang, Yuan Lin, Pinyan Lu
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年11月5日
- 連結
- arxiv.org/abs/2611.08089
- 程式碼
- github.com/ByteDance-Seed/SAE-interprets-MoE
- 英文版
- Sparse autoencoders trace which narrow features each expert in an MoE model drives


