単語のような画像トークン、ビット数を増やせば連続特徴量に迫る
プレプリントによると、丸め誤差は離散画像トークンが何を保持するかをうまく予測せず、並列コードブック型の量子化器は試した最大のビット予算まで性能を伸ばし続けた。

画像についての質問に答える AI システムの多くは、画像を連続特徴量として言語モデルに渡している。連続特徴量とは、視覚エンコーダーが出力する浮動小数点数の長い列だ。もう一つのやり方が離散トークンで、固定された語彙から選んだ整数の ID で画像を表す。こうすればモデルは単語を読むのとほぼ同じように画像を読み、1つの次トークン予測の目的関数で両方を扱える。ただし、この丸めによって意味が失われるというのが広く共有された見方だ。Meituan の LongCat チームと複数の大学の研究者による、査読を経ていない2026年のプレプリントは、その損失を測る通常の指標は誤解を招くと主張する。著者らは別の指標を軸に量子化器を組み立てた。
丸めにはコードブックを使う。学習によって得られたベクトルのリストである。画像の各パッチは、コードブックの中で最も近い項目の ID に置き換えられ、その代わりのベクトルが元の特徴量からどれだけ離れているかが量子化誤差となる。小型の言語モデル Qwen3-1.7B を使った予備実験では、単一のコードブックを使う量子化器の誤差は0.027で、8つの理解ベンチマークの平均は51.2だった。著者らは次に残差量子化を試した。各コードブックが、それまでのコードブックで表しきれなかった部分を符号化する方式だ。8段の残差量子化器のうち、最初の最も粗い段を除いて1段おきに計4段を残したところ、誤差は0.246とはるかに大きくなったが、平均は60.7だった。
著者らによれば、より重要だったのはビット予算だという。各パッチのトークン ID が運べるビット数のことで、コードブックの数にコードブック1個あたりのビット数を掛けたものになる。すべてのコードブックを同じ大きさ(各14ビット)に固定してコードブックを増やしていくと、既存の方式は最初は改善したものの、やがて頭打ちになった。残差量子化の平均は、コードブック8個(112ビット)で64.0、16個(224ビット)でも64.0だった。著者らは、後段のコードブックほど受け取る残りの部分が小さくなるためだとしている。特徴量をチャネル方向の断片に分け、コードブックを増やすほど断片が細くなる直積量子化は、64.1から64.3になった。
Factorized Vector Quantization(FVQ)は、この2つの問題を避けるよう設計されている。エンコーダーの特徴量を複数の固定された射影に通し、それぞれから特徴量の一部ではなく全体を映した「ビュー」を得る。各ビューは、それぞれ専用のコードブックで並列に量子化される。射影はランダム行列から一度だけ生成され、そのまま固定される。射影は、丸める前であればビューを組み合わせると元の特徴量が正確に復元されるように選ばれている。つまり、歪みはすべてコードブックの項目に置き換えることから生じる。同じ条件でコードブックを4、8、16個にしたとき、FVQ の平均はそれぞれ62.4、63.9、65.3だった。その土台にある量子化前の Qwen3 ViT の特徴量の平均は64.6だった。それでも FVQ は、MMStar と、文字を読み取るテストである OCRBench ではこの特徴量に及ばず、OCRBench のスコアは663対676だった。
完成したシステムは、16個のコードブックを使う FVQ と言語モデル Qwen3-8B を組み合わせたものだ。産業規模のデータで4段階の学習を行い、各段階でそれぞれ1000億、100億、600億、300億トークンを使った。連続特徴量を使う強力なモデル Qwen3-VL-8B と比べると、数学ベンチマーク MathVista では77.4対77.2、RealWorldQA では72.0対71.5だった。図表読解テスト CharXiv でも2つのパートの両方で上回った。一方、他の大半のベンチマークでは後れを取った。MMMU-Pro(40.8対55.9)、ChartQA(83.9対89.6)、InfoVQA(77.7対83.1)、OCRBench(867対896)などだ。以前の離散トークンモデルである UniAR-8B の OCRBench のスコアは833だった。
この研究には大きな限界がある。コードブック4個と8個では、FVQ は残差量子化器や直積量子化器と同等か下回るにとどまっており、その優位は8個から16個への1段階だけに拠っている。差は約1ポイントで、論文は繰り返し実験も有意性検定も報告していない。測定したのは理解だけで、離散トークンが求められる理由の一つである画像生成は評価していない。また、このトークナイザーは事前学習済みの連続エンコーダーの上に構築されている。産業規模の学習データは詳しく説明されておらず、比較対象のモデルは異なるデータで学習されている。論文は、各パッチのインデックスをどう統合するかについて統合モジュールがあること以上には述べておらず、この方式にかかる計算量や系列長のコストも示していない。著者らは FVQ を、頭打ちを和らげる方法の一つにすぎないと位置づけている。
この研究は、共通のパラメータで文章も画像も生成するモデルに関わる。braintankAI は、そうしたモデルではテキストで見つかったステアリングベクトルが生成画像にも引き継がれると報じている(関連記事)。離散画像トークンは、そうした単一のモデルを実現する道の一つだが、この論文が検証したのは理解だけだ。一方、次トークン予測はデータの種類をまたぐ共有表現に至る道としては非効率だとしたプレプリントとは、あまりかみ合わない(関連記事)。FVQ は、まさにそうした共有の次トークン予測の目的関数を支えるものとして提案されているからだ。
- 論文
- Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?
- 著者
- Jialv Zou, Xiaotong Li, Zhengrong Yue, Xu Huang, Yaxin Luo, Wenhao Yan et al.
- 掲載
- arXiv プレプリント(査読前) · 2026年10月27日
- リンク
- arxiv.org/abs/2610.37662
- コード
- github.com/hustvl/FVQ
- 英語版
- Word-like image tokens close in on continuous features once given enough bits


