ASIA
    ←Latent
    Latent · 影像離散化 · 4 分鐘
    WUHAN · Huazhong University of Science and Technology

    像文字一樣的影像 token,給足位元就逼近連續特徵

    一篇預印本發現,量化時的捨入誤差難以預測離散影像 token 保留了什麼,並提出一種平行碼本量化器,在測試過的最大位元預算內持續進步。

    2026年11月13日 · arXiv 預印本(未經同儕審查)
    a dark glass sphere floating over a blurred rainbow of light
    Photo: Flyd

    大多數能回答圖片相關問題的 AI 系統,是把影像以連續特徵的形式交給語言模型,也就是視覺編碼器輸出的一長串浮點數。另一種做法是離散 token,也就是從固定詞彙表裡取出的整數 ID。這樣一來,模型讀圖片的方式就跟讀文字差不多,單一的「預測下一個 token」目標就能同時涵蓋兩者。一般普遍認為,問題在於這種捨入會丟掉語意。美團 LongCat 團隊與幾所大學的研究人員在 2026 年發表一篇尚未經同儕審查的預印本,主張衡量這種損失的常用指標會誤導人。作者改以另一項指標為核心,打造了一個量化器。

    這種捨入是透過碼本(codebook)完成的。碼本是一份經過學習得到的向量清單,影像的每個區塊(patch)都會被替換成與它最接近的條目的 ID,而量化誤差就是這個替代品與原始特徵相差多遠。在以較小的 Qwen3-1.7B 語言模型進行的探索性實驗中,單一碼本量化器的誤差為 0.027,在 8 項理解能力基準測試上的平均分數為 51.2。作者接著嘗試殘差量化(residual quantisation),也就是每個碼本負責編碼前面碼本遺漏的部分。在一個 8 階段的殘差量化器中隔一階保留一階,共保留 4 階,並略去第一個、也是最粗略的那一階,誤差大幅升高到 0.246,平均分數卻達到 60.7。

    作者認為,更關鍵的是位元預算,也就是每個區塊的 token ID 能攜帶多少位元,等於碼本數量乘以每個碼本的位元數。在所有碼本大小固定、每個都是 14 位元的情況下,他們逐步增加碼本數量;既有方法一開始會進步,之後就停滯不前。殘差量化在 8 個碼本(112 位元)和 16 個碼本(224 位元)時的平均分數都是 64.0。作者認為原因在於它後面的碼本看到的剩餘部分越來越小。乘積量化(product quantisation)則把特徵切成越來越薄的通道區塊,分數從 64.1 只提高到 64.3。

    Factorized Vector Quantization(FVQ)的設計,就是要同時避開這兩個問題。它讓編碼器輸出的特徵通過幾個固定的投影,每個投影給出的是整個特徵的一個視角,而不是其中一片。接著每個視角各由自己的碼本平行量化。這些投影由一個隨機矩陣一次產生後就凍結不變,而且經過特別選擇,在任何捨入之前,各視角都能精確地重組回原始特徵;也就是說,所有失真都來自換上碼本條目這一步。在相同設定下,FVQ 在 4、8、16 個碼本時的平均分數分別為 62.4、63.9 和 65.3,它底下未經量化的 Qwen3 ViT 特徵則平均為 64.6。不過 FVQ 在 MMStar 和文字辨讀測試 OCRBench 上仍落後這些原始特徵,在 OCRBench 上是 663 比 676。

    完整系統把 16 個碼本的 FVQ 搭配 Qwen3-8B 語言模型,分 4 個階段訓練,分別使用 1,000 億、100 億、600 億和 300 億個 token 的工業規模資料。與表現強勁的連續特徵模型 Qwen3-VL-8B 相比,它在數學基準 MathVista 上以 77.4 對 77.2、在 RealWorldQA 上以 72.0 對 71.5 領先,在圖表測試 CharXiv 的兩個部分分數也都比較高。但在其他多數基準上落後,包括 MMMU-Pro(40.8 比 55.9)、ChartQA(83.9 比 89.6)、InfoVQA(77.7 比 83.1)和 OCRBench(867 比 896)。較早的離散 token 模型 UniAR-8B 在 OCRBench 上的分數是 833。

    這項研究的限制不小。在 4 個和 8 個碼本時,FVQ 只與殘差量化器和乘積量化器打平或落後,因此它的優勢只建立在從 8 個增加到 16 個這一步上。差距大約只有 1 分,論文也沒有報告重複實驗或顯著性檢定。研究只衡量了理解能力,沒有測試影像生成,而影像生成正是大家想要離散 token 的原因之一。這個 tokenizer 也是建立在預先訓練好的連續編碼器之上。工業訓練資料沒有詳細說明,比較對象的模型也是用不同的資料訓練。除了提到一個合併模組之外,論文沒有說明每個區塊的多個索引如何組合,也沒有說明這套方法在運算量或序列長度上要付出多少代價。作者把 FVQ 定位為緩解飽和問題的其中一種方法。

    這項研究與用同一組參數同時寫文字、畫圖的模型有關。braintankAI 曾報導,在這類模型中,從文字找出的導向向量(steering vector)也能沿用到生成的影像上(相關報導)。離散影像 token 是打造這種單一模型的途徑之一,不過這篇論文只測試了理解能力。它與另一篇預印本的看法則不太契合,那篇預印本認為,要在不同資料類型之間建立共享表徵,預測下一個 token 是效率不高的途徑(相關報導)。而 FVQ 正是為了支持這種共享的「預測下一個 token」目標而提出的。

    論文
    Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?
    作者
    Jialv Zou, Xiaotong Li, Zhengrong Yue, Xu Huang, Yaxin Luo, Wenhao Yan et al.
    刊登
    arXiv 預印本(未經同儕審查) · 2026年10月27日
    連結
    arxiv.org/abs/2610.37662
    程式碼
    github.com/hustvl/FVQ
    英文版
    Word-like image tokens close in on continuous features once given enough bits

    中文版報導

    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · 果蠅求偶

    食物氣味加上群體動態,開啟一種果蠅的求偶行為

    2026 年一項 Nature 研究發現,Drosophila erecta 果蠅的雄蠅會被食物氣味引發性興奮,群體動態再加以放大;少了這樣的環境,就不會交配。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 串流影片生成

    用獎勵分數告訴快速影片模型該把訓練重點放在哪裡

    Stream-R1 依獎勵模型的評分,為每段訓練影片、每個影格和區域加權,在相同速度下於基準測試小幅勝過直接對照的基準方法。

    arXiv 預印本 · 2026年5月5日

    Photo: Pascal Bernardon

    Far Field · 黑洞純量雲

    偏心軌道放大輕粒子雲在黑洞訊號上留下的痕跡

    發表在 Physical Review Letters 的計算發現,偏心旋近在最內側軌道附近出現共振,會加強純量雲在重力波上留下的痕跡。

    Physical Review Letters · 2026年10月20日