ASIA
    ←Latent
    Latent · 画像トークン化 · 4分
    WUHAN · Huazhong University of Science and Technology

    単語のような画像トークン、ビット数を増やせば連続特徴量に迫る

    プレプリントによると、丸め誤差は離散画像トークンが何を保持するかをうまく予測せず、並列コードブック型の量子化器は試した最大のビット予算まで性能を伸ばし続けた。

    2026年11月13日 · arXiv プレプリント(査読前)
    a dark glass sphere floating over a blurred rainbow of light
    Photo: Flyd

    画像についての質問に答える AI システムの多くは、画像を連続特徴量として言語モデルに渡している。連続特徴量とは、視覚エンコーダーが出力する浮動小数点数の長い列だ。もう一つのやり方が離散トークンで、固定された語彙から選んだ整数の ID で画像を表す。こうすればモデルは単語を読むのとほぼ同じように画像を読み、1つの次トークン予測の目的関数で両方を扱える。ただし、この丸めによって意味が失われるというのが広く共有された見方だ。Meituan の LongCat チームと複数の大学の研究者による、査読を経ていない2026年のプレプリントは、その損失を測る通常の指標は誤解を招くと主張する。著者らは別の指標を軸に量子化器を組み立てた。

    丸めにはコードブックを使う。学習によって得られたベクトルのリストである。画像の各パッチは、コードブックの中で最も近い項目の ID に置き換えられ、その代わりのベクトルが元の特徴量からどれだけ離れているかが量子化誤差となる。小型の言語モデル Qwen3-1.7B を使った予備実験では、単一のコードブックを使う量子化器の誤差は0.027で、8つの理解ベンチマークの平均は51.2だった。著者らは次に残差量子化を試した。各コードブックが、それまでのコードブックで表しきれなかった部分を符号化する方式だ。8段の残差量子化器のうち、最初の最も粗い段を除いて1段おきに計4段を残したところ、誤差は0.246とはるかに大きくなったが、平均は60.7だった。

    著者らによれば、より重要だったのはビット予算だという。各パッチのトークン ID が運べるビット数のことで、コードブックの数にコードブック1個あたりのビット数を掛けたものになる。すべてのコードブックを同じ大きさ(各14ビット)に固定してコードブックを増やしていくと、既存の方式は最初は改善したものの、やがて頭打ちになった。残差量子化の平均は、コードブック8個(112ビット)で64.0、16個(224ビット)でも64.0だった。著者らは、後段のコードブックほど受け取る残りの部分が小さくなるためだとしている。特徴量をチャネル方向の断片に分け、コードブックを増やすほど断片が細くなる直積量子化は、64.1から64.3になった。

    Factorized Vector Quantization(FVQ)は、この2つの問題を避けるよう設計されている。エンコーダーの特徴量を複数の固定された射影に通し、それぞれから特徴量の一部ではなく全体を映した「ビュー」を得る。各ビューは、それぞれ専用のコードブックで並列に量子化される。射影はランダム行列から一度だけ生成され、そのまま固定される。射影は、丸める前であればビューを組み合わせると元の特徴量が正確に復元されるように選ばれている。つまり、歪みはすべてコードブックの項目に置き換えることから生じる。同じ条件でコードブックを4、8、16個にしたとき、FVQ の平均はそれぞれ62.4、63.9、65.3だった。その土台にある量子化前の Qwen3 ViT の特徴量の平均は64.6だった。それでも FVQ は、MMStar と、文字を読み取るテストである OCRBench ではこの特徴量に及ばず、OCRBench のスコアは663対676だった。

    完成したシステムは、16個のコードブックを使う FVQ と言語モデル Qwen3-8B を組み合わせたものだ。産業規模のデータで4段階の学習を行い、各段階でそれぞれ1000億、100億、600億、300億トークンを使った。連続特徴量を使う強力なモデル Qwen3-VL-8B と比べると、数学ベンチマーク MathVista では77.4対77.2、RealWorldQA では72.0対71.5だった。図表読解テスト CharXiv でも2つのパートの両方で上回った。一方、他の大半のベンチマークでは後れを取った。MMMU-Pro(40.8対55.9)、ChartQA(83.9対89.6)、InfoVQA(77.7対83.1)、OCRBench(867対896)などだ。以前の離散トークンモデルである UniAR-8B の OCRBench のスコアは833だった。

    この研究には大きな限界がある。コードブック4個と8個では、FVQ は残差量子化器や直積量子化器と同等か下回るにとどまっており、その優位は8個から16個への1段階だけに拠っている。差は約1ポイントで、論文は繰り返し実験も有意性検定も報告していない。測定したのは理解だけで、離散トークンが求められる理由の一つである画像生成は評価していない。また、このトークナイザーは事前学習済みの連続エンコーダーの上に構築されている。産業規模の学習データは詳しく説明されておらず、比較対象のモデルは異なるデータで学習されている。論文は、各パッチのインデックスをどう統合するかについて統合モジュールがあること以上には述べておらず、この方式にかかる計算量や系列長のコストも示していない。著者らは FVQ を、頭打ちを和らげる方法の一つにすぎないと位置づけている。

    この研究は、共通のパラメータで文章も画像も生成するモデルに関わる。braintankAI は、そうしたモデルではテキストで見つかったステアリングベクトルが生成画像にも引き継がれると報じている(関連記事)。離散画像トークンは、そうした単一のモデルを実現する道の一つだが、この論文が検証したのは理解だけだ。一方、次トークン予測はデータの種類をまたぐ共有表現に至る道としては非効率だとしたプレプリントとは、あまりかみ合わない(関連記事)。FVQ は、まさにそうした共有の次トークン予測の目的関数を支えるものとして提案されているからだ。

    論文
    Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?
    著者
    Jialv Zou, Xiaotong Li, Zhengrong Yue, Xu Huang, Yaxin Luo, Wenhao Yan et al.
    掲載
    arXiv プレプリント(査読前) · 2026年10月27日
    リンク
    arxiv.org/abs/2610.37662
    コード
    github.com/hustvl/FVQ
    英語版
    Word-like image tokens close in on continuous features once given enough bits

    日本語版の記事

    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables
    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables

    Physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables · Photo: Devon Rogers

    Substrate · 交替磁性

    正味の磁化がない磁性体 MnTe で、スピン分裂した電子バンドを観測

    テルル化マンガンの光電子分光を計算と照合した結果、共線磁性体の第3の分類として提案されている交替磁性体に予測されたスピン分裂が確認された。

    Nature · 2024年2月14日
    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · ハエの求愛行動

    食べ物のにおいと群れの動きが、あるショウジョウバエの求愛を始動させる

    2026年の Nature 論文によれば、Drosophila erecta では食べ物のにおいが雄の性的興奮を引き起こし、群れの動きがそれを強めるため、この環境がなければ交尾は起きない。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 動画生成の蒸留

    報酬モデルの採点で高速動画モデルの学習の重点を決める

    Stream-R1 は学習用の動画、フレーム、領域ごとに報酬モデルの判定で重みを付け、同じ速度のまま直接の比較対象をベンチマークでわずかに上回った。

    arXiv プレプリント · 2026年5月5日