2つの文章を1つの入力に混ぜても、言語モデルは両方を部分的にたどる
無関係な2つの文章を平均して1つの入力にしても、モデルの予測には両方の痕跡が残るが、両者を切り分けるには追加の学習が要り、それでも十分ではない。

無関係な2つの文章を1つの入力に混ぜると、言語モデルが予測する次の単語は、おおむね、それぞれの文章を単独で読ませたときの予測の中間に落ち着く。Pavel Tikhonov、Elena Tutubalina らが2026年に発表した、査読を経ていないプレプリントの中心となる知見である。この効果は部分的で、主に予測しやすい単語に支えられている。それでも、Transformer の内部表現が2つの文章の流れを、単語そのものより深いレベルで混ざり合ったまま同時に運びうることを示唆している。
大規模言語モデルの多くが採用するアーキテクチャである Transformer は、強い非線形性をもつ部品で組み立てられている。その1回の処理は通常、1つの意味の流れだけを扱うものと考えられている。Razzhigaev らの先行研究では、内部のある層から次の層への変換は、多くの場合、線形でよく近似できることがわかっていた。著者らは、この線形性がモデル全体にも及ぶのか、つまり2つの入力を混ぜると2つの出力を混ぜたものが得られるのかを問うた。著者らはこれを「重ね合わせ線形性仮説(Superposition Linearity Hypothesis)」と呼んでいる。
著者らは、ウェブ上の文章と簡単な物語から、同じ長さの文章を2つずつ組にして取り出し、各位置で埋め込みを平均した。埋め込みとは、モデルが各トークン(単語やその断片)を表すのに使う数値の並びである。混ぜた系列は、Pythia、Qwen2.5、Llama など複数のモデルファミリーの、手を加えていないモデルに入力した。報告された中で最大のモデルはパラメータ数80億である。これらのモデルの語彙は少なくとも50,000トークンある。それでも、単独の文章に対してモデルが選んだ単語は、混合入力に対する出力で上位10位以内に入る割合が約30〜40%、上位100位以内では約60〜65%だった。著者らはまた、混合入力に対する出力が、2つの文章の予測を個別に出して正確に平均したものからどれだけ離れているかを測り、その差を、無関係な2つの文章に対する予測どうしの距離と比べた。この比は、4つのモデル、3種類の距離指標、2種類の文章の長さのすべてで1を下回り、0.31から0.71の範囲だった。Pythia の学習途中のチェックポイントをたどると、この加法的なふるまいは学習初期に最も強く、事前学習が進むにつれて弱まった。著者らはこれを、学習で身につけたものではなく、アーキテクチャそのものの性質と解釈している。
ただし、Qwen2.5-3B を詳しく調べると、この結果は割り引いて受け止める必要がある。位置の約65%は「予測しやすい」位置に分類され、そこでは単語の出現頻度に関する一般的な傾向が大きな役割を果たす。残りは、特定の文章の内容に依存する「内容」位置である。混合入力では、モデル自身が単独で選んだ単語の順位の中央値が、予測しやすい位置では6位だったが、内容位置では284位だった。著者らはまた、文章の最後の単語をモデルに予測させるベンチマーク LAMBADA の200問でも試した。正答率は、混ぜない場合の73%から、混ぜた場合は2.25%に下がった。単一の文章を使った対照実験では、著者らはアテンション、つまり各トークンがそれより前のトークンの情報を参照する仕組みをかき乱した。すると順位の中央値は数千位にまで上がった。著者らはこれを、単語の頻度の傾向だけでは予測を正しく保つのに足りない証拠とみている。
続いて著者らは、学習によってこの性質をおおむね取り戻した。用いたのは自己蒸留で、モデルが凍結した自分自身のコピーをまねるように学習する手法である。生徒モデルは混合入力を受け取り、教師モデルが2つの文章それぞれに出した予測の平均に合わせるよう訓練された。学習に使ったデータは、元の事前学習データの0.025%に満たない。Qwen2.5-3B では、内容位置での順位の中央値が284位から5位に下がった。順位で見ると、それぞれの流れの単語が上位5位に入る確率は約30%から60%超に上がった。一方で、通常の性能は落ちた。Pythia-2.8B の LAMBADA 正答率は0.544から0.357に下がった。
1回の混合処理から2つの別々の続きを取り出すのは、さらに難しい。混合した出力からそのままサンプリングすると、2つの文章の間を行き来してしまうからだ。概念実証として、著者らは大きなモデルの混合出力と、それぞれの文章を個別に読む小さなモデルとを組み合わせた。最もよい結果は、Llama-3.2-3B を10億パラメータのモデルで導いた場合だった。2つの流れでの LAMBADA 正答率は0.182から0.430に上がったが、小さなモデル単独の0.540には届かなかった。著者らは、重ね合わせによる推論は理論上、処理能力(スループット)を2倍にし、各流れが前の文脈を保持するのに必要なメモリを半分にできると論じている。
未解決の点は多い。分析の多くは128トークン以下の文脈で、ほぼ1つの言語で行われ、テストしたのはテキストのモデルだけだった。混合は等しい重みのものに限られ、流れの数も最大3つで、3つの場合は2つの場合より目標との一致度が低かった。微調整は通常の予測を劣化させ、デコード手法も小さなモデル単独の性能に及ばない。この研究は、2つの文章の痕跡がモデルの1回の処理を経ても残ることを示した。両方をきれいに読み出す方法は、まだ見つかっていない。
- 論文
- Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs
- 著者
- Pavel Tikhonov, Anton Korznikov, Matvey Mikhalchuk, Nikita Dragunov, Temurbek Rahmatullaev, Polina Druzhinina, Anton Razzhigaev, Ivan Oseledets, Elena Tutubalina et al.
- 掲載
- arXiv プレプリント(査読前) · 2026年9月24日
- リンク
- arxiv.org/abs/2609.29845
- 英語版
- Blend two texts into one input and a language model partly tracks both


