ASIA
    ←Alignment
    Alignment · MoE の専門分化 · 4分
    SHANGHAI · Shanghai University of Finance and Economics

    スパース自己符号化器で MoE の各エキスパートが担う細かな特徴をたどる

    ByteDance Seed のプレプリントは特徴の活性をエキスパートごとに厳密に分け、大半の特徴は1つか2つのエキスパートが担うと報告し、主題の名付けは別の AI に任せた。

    2026年11月13日 · arXiv プレプリント(査読前)
    an engine wrapped in dense steel plumbing and wiring, museum hall behind
    Photo: Meizhi Lang

    混合エキスパート(MoE)型の言語モデルは、トークン(単語やその断片)ごとに、ルーターと呼ばれる部品が選んだ少数のサブネットワークに処理を回す。このサブネットワークをエキスパートと呼ぶ。個々のエキスパートが何をしているのかについては見方が分かれている。エキスパートが主題の分野と結びついているとする研究がある一方、ルーティングはトークンそのものが何かといった表層的な性質で決まるとする研究もある。ByteDance Seed が2026年に公開した、査読を経ていないプレプリントは、両陣営とも粗い手法に頼っていると主張する。人間が少数の分野に分類したテキスト上で、あるエキスパートが選ばれる頻度を数えるという手法だ。これでは分類の枠組みが前もって決まってしまい、ラベルもトークン単位ではなく文書全体に付く。そのため、数学の問題の中にある物語風の前置きも数学として数えられる。さらに、ルーターが選んだ各エキスパートにどれだけの重みを与えているかも無視される。

    著者らは選ばれる頻度ではなく、寄与を測る。まずスパース自己符号化器(SAE)を訓練する。SAE は、ある層の出力を、潜在変数(latent)と呼ばれる多数の学習された方向の疎な組み合わせとして書き直すモデルで、潜在変数は生のニューロンより解釈しやすい傾向がある。MoE 層の出力はエキスパートの出力をルーターの重みで足し合わせたものであり、SAE のエンコーダーは線形写像にバイアスを加えたものだ。このため、各潜在変数の値は、活性化のしきい値を通す前の段階で、エンコーダーのバイアスと、稼働中のエキスパート1つにつき1項ずつの和にちょうど分解できる。正の部分だけを残してコーパス全体で平均すると、各潜在変数に対する各エキスパートの取り分が得られる。取り分が0.2に達したエキスパートは、その潜在変数を「支配する」とみなす。均等に分けた場合の取り分は約0.008である。対象のモデルは Qwen3-30B-A3B で、MoE 層ごとに128のエキスパートを持ち、トークンごとに8つが稼働し、共有エキスパートはない。統計は、訓練に使っていない 1.5B トークンのデータから求めた。

    すぐに浮かぶ懸念は、寄与の偏りがルーターの重みの偏りを映しているだけではないかという点だ。著者らは、稼働する8つのエキスパートをそれぞれの指標で順位づけした。著者らの報告では、第30層で1位のエキスパートはゲート重みでは平均0.231だが、寄与では0.512を占める。8つの順位の最下位では、ゲート重みが平均0.074、寄与が0.005だった。負の項を捨てたことが、この差の主因ではない。この層で項が切り捨てられるのは、8つのエキスパートのうち平均1.29にとどまる。第4層、第30層、第46層では、潜在変数のそれぞれ57.4%、62.1%、56.7%を、ちょうど1つのエキスパートが支配しており、3つ以上のエキスパートに支配される潜在変数は3.7%を超えない。128のエキスパートはどれも、すべての層で何らかの潜在変数を支配しており、支配する潜在変数が最も多い上位10のエキスパートでも、エキスパートと潜在変数の結びつき全体の30.1%以下しか持たない。重なりは、共通する要素の数を異なる要素全体の数で割ったジャカード類似度で測った。重なりはわずかで、第30層では8128のエキスパートの組のうち0.05を超えるのは20組だけだった。

    意味づけのため、第30層ではエキスパートごとに最大2000個の潜在変数を抽出し、それぞれが発火する文脈をもとに GPT-5.5 が説明を書いた。エキスパート72に最も重く振り分けられるトークンは主に機能語だが、その潜在変数は運動と健康、そしてアルゴリズムとデータ構造にまたがる。そのひとつ F97783 は、二分探索のループにある <= でだけ発火する。GPT-5.5 は4つのエキスパートについて、主題の占める割合も判定した。Java のエキスパートでは86.7%、幾何のエキスパートでは78.1%だった。他の127のエキスパートから無作為に集めた2000個の潜在変数では、同じ主題の割合はそれぞれ1.9%と2.0%だった。GPT-5.5 はさらにエキスパートを11の分野にまとめたが、分野の大きさは大きく異なる。コンピューティングが28、テキストの形式が21、数学と推論が20で、芸術は1つのエキスパートのラベルに現れるだけだ。11分野のうち3つ(テキストの形式、言語、実体と識別子)はそもそも主題ではなく、合わせて36のエキスパートを抱える。重なりの大きい上位20組のうち19組は同じ分野に属するが、全体では同じ分野どうしの組は12.8%にとどまる。

    構造に関する統計は厳密な代数に基づくが、意味の読み取りの根拠はより薄い。調べたモデルは1つだけで、解釈は第30層に限られる。著者らは層どうしの構造が似ていることを理由に挙げている。説明の執筆、主題の判定、分野へのまとめ上げはすべて GPT-5.5 が行い、本文には人による確認の報告がない。数値化された主題は紹介された4つのエキスパートに限られ、専門化はいつも明瞭なわけではない。算術と多項式のエキスパートは59.1%にとどまり、第30層の潜在変数の13.6%には支配的なエキスパートがいない。支配のしきい値も1つしか使っていない。また、この寄与の割り当ては因果を検証するものではない。アブレーション(構成要素を取り除く操作)やステアリング(内部表現を操作して出力を誘導する手法)の実験は行っていないからだ。著者らは、エキスパートを編集した場合の効果を仮説として示すにとどめている。分野の偏りは訓練データを反映しているとも示唆しているが、これは推測の域を出ない。Qwen3 のデータ構成は公開されておらず、著者らは代わりに Llama 3 のものを用いている。

    この欠けている介入は、他の解釈可能性研究ではすでに踏み出されている一歩だ。braintankAI は、文章と画像を共通のパラメータで生成するモデルで、テキストから見つけたステアリングベクトルが画像生成も動かしたとするプレプリントを報じている(関連記事)。ここで同じ検証をするなら、1つのエキスパートを編集し、それが支配する特徴が対応して変化するかを確かめることになる。

    論文
    SAE Interprets MoE: Sparse AutoEncoders Reveal That MoE Experts Exhibit Human-Interpretable Fine-Grained Specialization
    著者
    Anyuan Zhuo, Shaohua Zhang, Yuan Lin, Pinyan Lu
    掲載
    arXiv プレプリント(査読前) · 2026年11月5日
    リンク
    arxiv.org/abs/2611.08089
    コード
    github.com/ByteDance-Seed/SAE-interprets-MoE
    英語版
    Sparse autoencoders trace which narrow features each expert in an MoE model drives

    日本語版の記事

    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables
    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables

    Physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables · Photo: Devon Rogers

    Substrate · 交替磁性

    正味の磁化がない磁性体 MnTe で、スピン分裂した電子バンドを観測

    テルル化マンガンの光電子分光を計算と照合した結果、共線磁性体の第3の分類として提案されている交替磁性体に予測されたスピン分裂が確認された。

    Nature · 2024年2月14日
    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · ハエの求愛行動

    食べ物のにおいと群れの動きが、あるショウジョウバエの求愛を始動させる

    2026年の Nature 論文によれば、Drosophila erecta では食べ物のにおいが雄の性的興奮を引き起こし、群れの動きがそれを強めるため、この環境がなければ交尾は起きない。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 動画生成の蒸留

    報酬モデルの採点で高速動画モデルの学習の重点を決める

    Stream-R1 は学習用の動画、フレーム、領域ごとに報酬モデルの判定で重みを付け、同じ速度のまま直接の比較対象をベンチマークでわずかに上回った。

    arXiv プレプリント · 2026年5月5日