兩段文字混成一個輸入,語言模型仍能部分追蹤兩者
把兩段無關文字平均成一個輸入,模型的預測裡會留下兩者的痕跡,但要把兩者拆開需要額外訓練,效果也仍有不足。

把兩段無關的文字混成單一輸入,語言模型對下一個字的猜測,大致會落在它分別讀這兩段文字時的猜測之間。這是 Pavel Tikhonov、Elena Tutubalina 與同事在 2026 年發表的一份尚未經同儕審查的預印本的核心發現。這個效應只有部分成立,而且主要靠容易猜的字撐起。即便如此,它仍顯示 Transformer 的內部表徵可以同時承載兩條文字流,而且是在比字詞本身更底層的地方混在一起。
Transformer 是大多數大型語言模型背後的架構,由高度非線性的元件組成。一般假定,模型每跑一次,只處理一條語意流。Razzhigaev 與同事先前的研究發現,從一個內部層到下一層的轉換,往往可以用線性關係很好地近似。作者想知道,這種線性是否延伸到整個模型:把兩個輸入混在一起,是否就會得到兩個輸出的混合?他們把這稱為「疊加線性假說」(Superposition Linearity Hypothesis)。
研究團隊從網頁文字和簡單的故事中,取出長度相同的文字對。在每個位置上,他們把兩段文字的 embedding 平均起來;embedding 是模型用來表示每個 token(詞或詞的片段)的一串數字。混合後的序列送進幾個家族未經修改的模型,包括 Pythia、Qwen2.5 和 Llama,報告中最大的模型有 80 億個參數。這些模型的詞彙表至少有 50,000 個 token。儘管如此,模型讀單段文字時選出的字,約有 30% 到 40% 會出現在混合輸出的前 10 名,約 60% 到 65% 會出現在前 100 名。作者也量了混合輸出與兩個單獨預測的精確平均之間差多遠,並拿這個差距和兩段無關文字的預測之間的距離相比。在四個模型、三種距離量度和兩種文字長度下,這個比值都低於 1,介於 0.31 到 0.71。在 Pythia 的各個訓練檢查點(checkpoint)上,這種可加的特性在早期最強,隨著預訓練進行而減弱。作者把這解讀為架構本身的性質,而不是學出來的。
仔細看 Qwen2.5-3B 的結果,情況就沒那麼樂觀。約 65% 的位置被歸為「可預測」位置,一般的詞頻習慣就能解決大半;其餘是「內容」位置,取決於具體的文字內容。在混合輸入下,模型讀單段文字時自己會選的字,在可預測位置的名次中位數是 6,在內容位置卻是 284。作者也用 LAMBADA 的 200 題做測試,這是要模型預測一段文字最後一個字的基準測驗。準確率從未混合時的 73% 掉到混合後的 2.25%。在單段文字的對照實驗中,作者打亂了 attention(注意力機制,也就是每個 token 參考前面 token 的機制),名次中位數隨之升到數千名。作者以此作為證據,說明光靠詞頻習慣,不足以讓預測維持在正軌上。
作者接著用訓練大致找回這個性質,方法是自我蒸餾(self-distillation),也就是讓模型學著模仿一份凍結的自身副本。學生模型看的是混合輸入,學習目標是老師模型對兩段文字各自預測的平均。訓練用的資料不到原始預訓練資料的 0.025%。以 Qwen2.5-3B 來說,內容位置的名次中位數從 284 降到 5。在名次層面上,每條文字流的字進入前 5 名的機率,從約 30% 升到超過 60%。一般表現則受到影響:Pythia-2.8B 的 LAMBADA 準確率從 0.544 降到 0.357。
要從一次混合運算中得到兩段各自的續寫更難,因為直接從混合結果取樣,會在兩段文字之間跳來跳去。作為概念驗證,作者把大模型的混合輸出,和一個分別讀每段文字的較小模型結合起來。最好的結果來自由 10 億參數模型引導的 Llama-3.2-3B:雙流 LAMBADA 準確率從 0.182 升到 0.430,但仍低於小模型單獨跑時的 0.540。作者主張,疊加推論理論上可以讓吞吐量加倍,並讓每條文字流儲存前文所需的記憶體減半。
還有很多問題沒有解決。多數分析用的上下文在 128 個 token 以內,大多是單一語言,而且只測了文字模型。混合只試過等權重,最多三條文字流;三條流與目標的吻合程度不如兩條。微調會讓一般的預測變差,解碼方法也還比不上單獨運作的小模型。這項研究顯示,兩段文字的痕跡能在模型的一次運算中留存下來;但要把兩者乾淨地讀回來,仍是未解的問題。
- 論文
- Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs
- 作者
- Pavel Tikhonov, Anton Korznikov, Matvey Mikhalchuk, Nikita Dragunov, Temurbek Rahmatullaev, Polina Druzhinina, Anton Razzhigaev, Ivan Oseledets, Elena Tutubalina et al.
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年9月24日
- 連結
- arxiv.org/abs/2609.29845
- 英文版
- Blend two texts into one input and a language model partly tracks both


