スパース自己符号化器で MoE の各エキスパートが担う細かな特徴をたどる
ByteDance Seed のプレプリントは特徴の活性をエキスパートごとに厳密に分け、大半の特徴は1つか2つのエキスパートが担うと報告し、主題の名付けは別の AI に任せた。

混合エキスパート(MoE)型の言語モデルは、トークン(単語やその断片)ごとに、ルーターと呼ばれる部品が選んだ少数のサブネットワークに処理を回す。このサブネットワークをエキスパートと呼ぶ。個々のエキスパートが何をしているのかについては見方が分かれている。エキスパートが主題の分野と結びついているとする研究がある一方、ルーティングはトークンそのものが何かといった表層的な性質で決まるとする研究もある。ByteDance Seed が2026年に公開した、査読を経ていないプレプリントは、両陣営とも粗い手法に頼っていると主張する。人間が少数の分野に分類したテキスト上で、あるエキスパートが選ばれる頻度を数えるという手法だ。これでは分類の枠組みが前もって決まってしまい、ラベルもトークン単位ではなく文書全体に付く。そのため、数学の問題の中にある物語風の前置きも数学として数えられる。さらに、ルーターが選んだ各エキスパートにどれだけの重みを与えているかも無視される。
著者らは選ばれる頻度ではなく、寄与を測る。まずスパース自己符号化器(SAE)を訓練する。SAE は、ある層の出力を、潜在変数(latent)と呼ばれる多数の学習された方向の疎な組み合わせとして書き直すモデルで、潜在変数は生のニューロンより解釈しやすい傾向がある。MoE 層の出力はエキスパートの出力をルーターの重みで足し合わせたものであり、SAE のエンコーダーは線形写像にバイアスを加えたものだ。このため、各潜在変数の値は、活性化のしきい値を通す前の段階で、エンコーダーのバイアスと、稼働中のエキスパート1つにつき1項ずつの和にちょうど分解できる。正の部分だけを残してコーパス全体で平均すると、各潜在変数に対する各エキスパートの取り分が得られる。取り分が0.2に達したエキスパートは、その潜在変数を「支配する」とみなす。均等に分けた場合の取り分は約0.008である。対象のモデルは Qwen3-30B-A3B で、MoE 層ごとに128のエキスパートを持ち、トークンごとに8つが稼働し、共有エキスパートはない。統計は、訓練に使っていない 1.5B トークンのデータから求めた。
すぐに浮かぶ懸念は、寄与の偏りがルーターの重みの偏りを映しているだけではないかという点だ。著者らは、稼働する8つのエキスパートをそれぞれの指標で順位づけした。著者らの報告では、第30層で1位のエキスパートはゲート重みでは平均0.231だが、寄与では0.512を占める。8つの順位の最下位では、ゲート重みが平均0.074、寄与が0.005だった。負の項を捨てたことが、この差の主因ではない。この層で項が切り捨てられるのは、8つのエキスパートのうち平均1.29にとどまる。第4層、第30層、第46層では、潜在変数のそれぞれ57.4%、62.1%、56.7%を、ちょうど1つのエキスパートが支配しており、3つ以上のエキスパートに支配される潜在変数は3.7%を超えない。128のエキスパートはどれも、すべての層で何らかの潜在変数を支配しており、支配する潜在変数が最も多い上位10のエキスパートでも、エキスパートと潜在変数の結びつき全体の30.1%以下しか持たない。重なりは、共通する要素の数を異なる要素全体の数で割ったジャカード類似度で測った。重なりはわずかで、第30層では8128のエキスパートの組のうち0.05を超えるのは20組だけだった。
意味づけのため、第30層ではエキスパートごとに最大2000個の潜在変数を抽出し、それぞれが発火する文脈をもとに GPT-5.5 が説明を書いた。エキスパート72に最も重く振り分けられるトークンは主に機能語だが、その潜在変数は運動と健康、そしてアルゴリズムとデータ構造にまたがる。そのひとつ F97783 は、二分探索のループにある <= でだけ発火する。GPT-5.5 は4つのエキスパートについて、主題の占める割合も判定した。Java のエキスパートでは86.7%、幾何のエキスパートでは78.1%だった。他の127のエキスパートから無作為に集めた2000個の潜在変数では、同じ主題の割合はそれぞれ1.9%と2.0%だった。GPT-5.5 はさらにエキスパートを11の分野にまとめたが、分野の大きさは大きく異なる。コンピューティングが28、テキストの形式が21、数学と推論が20で、芸術は1つのエキスパートのラベルに現れるだけだ。11分野のうち3つ(テキストの形式、言語、実体と識別子)はそもそも主題ではなく、合わせて36のエキスパートを抱える。重なりの大きい上位20組のうち19組は同じ分野に属するが、全体では同じ分野どうしの組は12.8%にとどまる。
構造に関する統計は厳密な代数に基づくが、意味の読み取りの根拠はより薄い。調べたモデルは1つだけで、解釈は第30層に限られる。著者らは層どうしの構造が似ていることを理由に挙げている。説明の執筆、主題の判定、分野へのまとめ上げはすべて GPT-5.5 が行い、本文には人による確認の報告がない。数値化された主題は紹介された4つのエキスパートに限られ、専門化はいつも明瞭なわけではない。算術と多項式のエキスパートは59.1%にとどまり、第30層の潜在変数の13.6%には支配的なエキスパートがいない。支配のしきい値も1つしか使っていない。また、この寄与の割り当ては因果を検証するものではない。アブレーション(構成要素を取り除く操作)やステアリング(内部表現を操作して出力を誘導する手法)の実験は行っていないからだ。著者らは、エキスパートを編集した場合の効果を仮説として示すにとどめている。分野の偏りは訓練データを反映しているとも示唆しているが、これは推測の域を出ない。Qwen3 のデータ構成は公開されておらず、著者らは代わりに Llama 3 のものを用いている。
この欠けている介入は、他の解釈可能性研究ではすでに踏み出されている一歩だ。braintankAI は、文章と画像を共通のパラメータで生成するモデルで、テキストから見つけたステアリングベクトルが画像生成も動かしたとするプレプリントを報じている(関連記事)。ここで同じ検証をするなら、1つのエキスパートを編集し、それが支配する特徴が対応して変化するかを確かめることになる。
- 論文
- SAE Interprets MoE: Sparse AutoEncoders Reveal That MoE Experts Exhibit Human-Interpretable Fine-Grained Specialization
- 著者
- Anyuan Zhuo, Shaohua Zhang, Yuan Lin, Pinyan Lu
- 掲載
- arXiv プレプリント(査読前) · 2026年11月5日
- リンク
- arxiv.org/abs/2611.08089
- コード
- github.com/ByteDance-Seed/SAE-interprets-MoE
- 英語版
- Sparse autoencoders trace which narrow features each expert in an MoE model drives


