像文字一樣的影像 token,給足位元就逼近連續特徵
一篇預印本發現,量化時的捨入誤差難以預測離散影像 token 保留了什麼,並提出一種平行碼本量化器,在測試過的最大位元預算內持續進步。

大多數能回答圖片相關問題的 AI 系統,是把影像以連續特徵的形式交給語言模型,也就是視覺編碼器輸出的一長串浮點數。另一種做法是離散 token,也就是從固定詞彙表裡取出的整數 ID。這樣一來,模型讀圖片的方式就跟讀文字差不多,單一的「預測下一個 token」目標就能同時涵蓋兩者。一般普遍認為,問題在於這種捨入會丟掉語意。美團 LongCat 團隊與幾所大學的研究人員在 2026 年發表一篇尚未經同儕審查的預印本,主張衡量這種損失的常用指標會誤導人。作者改以另一項指標為核心,打造了一個量化器。
這種捨入是透過碼本(codebook)完成的。碼本是一份經過學習得到的向量清單,影像的每個區塊(patch)都會被替換成與它最接近的條目的 ID,而量化誤差就是這個替代品與原始特徵相差多遠。在以較小的 Qwen3-1.7B 語言模型進行的探索性實驗中,單一碼本量化器的誤差為 0.027,在 8 項理解能力基準測試上的平均分數為 51.2。作者接著嘗試殘差量化(residual quantisation),也就是每個碼本負責編碼前面碼本遺漏的部分。在一個 8 階段的殘差量化器中隔一階保留一階,共保留 4 階,並略去第一個、也是最粗略的那一階,誤差大幅升高到 0.246,平均分數卻達到 60.7。
作者認為,更關鍵的是位元預算,也就是每個區塊的 token ID 能攜帶多少位元,等於碼本數量乘以每個碼本的位元數。在所有碼本大小固定、每個都是 14 位元的情況下,他們逐步增加碼本數量;既有方法一開始會進步,之後就停滯不前。殘差量化在 8 個碼本(112 位元)和 16 個碼本(224 位元)時的平均分數都是 64.0。作者認為原因在於它後面的碼本看到的剩餘部分越來越小。乘積量化(product quantisation)則把特徵切成越來越薄的通道區塊,分數從 64.1 只提高到 64.3。
Factorized Vector Quantization(FVQ)的設計,就是要同時避開這兩個問題。它讓編碼器輸出的特徵通過幾個固定的投影,每個投影給出的是整個特徵的一個視角,而不是其中一片。接著每個視角各由自己的碼本平行量化。這些投影由一個隨機矩陣一次產生後就凍結不變,而且經過特別選擇,在任何捨入之前,各視角都能精確地重組回原始特徵;也就是說,所有失真都來自換上碼本條目這一步。在相同設定下,FVQ 在 4、8、16 個碼本時的平均分數分別為 62.4、63.9 和 65.3,它底下未經量化的 Qwen3 ViT 特徵則平均為 64.6。不過 FVQ 在 MMStar 和文字辨讀測試 OCRBench 上仍落後這些原始特徵,在 OCRBench 上是 663 比 676。
完整系統把 16 個碼本的 FVQ 搭配 Qwen3-8B 語言模型,分 4 個階段訓練,分別使用 1,000 億、100 億、600 億和 300 億個 token 的工業規模資料。與表現強勁的連續特徵模型 Qwen3-VL-8B 相比,它在數學基準 MathVista 上以 77.4 對 77.2、在 RealWorldQA 上以 72.0 對 71.5 領先,在圖表測試 CharXiv 的兩個部分分數也都比較高。但在其他多數基準上落後,包括 MMMU-Pro(40.8 比 55.9)、ChartQA(83.9 比 89.6)、InfoVQA(77.7 比 83.1)和 OCRBench(867 比 896)。較早的離散 token 模型 UniAR-8B 在 OCRBench 上的分數是 833。
這項研究的限制不小。在 4 個和 8 個碼本時,FVQ 只與殘差量化器和乘積量化器打平或落後,因此它的優勢只建立在從 8 個增加到 16 個這一步上。差距大約只有 1 分,論文也沒有報告重複實驗或顯著性檢定。研究只衡量了理解能力,沒有測試影像生成,而影像生成正是大家想要離散 token 的原因之一。這個 tokenizer 也是建立在預先訓練好的連續編碼器之上。工業訓練資料沒有詳細說明,比較對象的模型也是用不同的資料訓練。除了提到一個合併模組之外,論文沒有說明每個區塊的多個索引如何組合,也沒有說明這套方法在運算量或序列長度上要付出多少代價。作者把 FVQ 定位為緩解飽和問題的其中一種方法。
這項研究與用同一組參數同時寫文字、畫圖的模型有關。braintankAI 曾報導,在這類模型中,從文字找出的導向向量(steering vector)也能沿用到生成的影像上(相關報導)。離散影像 token 是打造這種單一模型的途徑之一,不過這篇論文只測試了理解能力。它與另一篇預印本的看法則不太契合,那篇預印本認為,要在不同資料類型之間建立共享表徵,預測下一個 token 是效率不高的途徑(相關報導)。而 FVQ 正是為了支持這種共享的「預測下一個 token」目標而提出的。
- 論文
- Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?
- 作者
- Jialv Zou, Xiaotong Li, Zhengrong Yue, Xu Huang, Yaxin Luo, Wenhao Yan et al.
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年10月27日
- 連結
- arxiv.org/abs/2610.37662
- 程式碼
- github.com/hustvl/FVQ
- 英文版
- Word-like image tokens close in on continuous features once given enough bits


