キューブで答える高度な知識問題、ロボット AI の多くは偶然並み
知識問題を模擬的な卓上作業に置き換えたプレプリントによると、試したロボットモデルの多くは、視覚言語モデルが得意とする知識の多くを行動に生かせなかった。

シミュレーションによる試験で、視覚言語 AI を土台とする7つのロボットモデルの大半は、元の視覚言語モデルなら難なく扱える常識や世界知識を、行動に移すことができなかった。Nikita Kachaev、Alexey K. Kovalev らによる、査読を経ていないプレプリントで示された結果だ。モデルは二択のクイズに、選んだ画像の上にキューブを置くことで答えた。色の問題では安定して正しい方を選んだが、感情や時間といった、より高度な問題では多くがコイン投げ並みの成績にとどまった。著者らはこれを、ロボットモデルの標準的な作り方に伴う代償とみている。
その標準的な手法で作られるのが、視覚・言語・行動モデル(VLA)だ。カメラ画像と文章による指示を受け取り、モーターへの指令を出力する。VLA は通常、画像についての質問に文章で答える視覚言語モデル(VLM)を、ロボットのデータで微調整(ファインチューニング)して作る。この連載で以前取り上げた Ai2 の MolmoAct2 などのモデルも、同じく視覚言語モデルを土台にしている(関連記事)。著者らによれば、ロボットのベンチマークはふつう、タスク全体が成功したかどうかしか報告しない。この1つの数字には知覚、知識、運動制御、環境の影響が混ざっているため、失敗の原因を知識の欠如に特定するのは難しい。ロボットモデルの VLM 部分に文章で答えさせる方法もあるが、それでわかるのは知識をまだ言葉にできるかどうかであり、その知識で行動を導けるかどうかまではわからない。
著者らの試験「Act2Answer」は、定評のある VLM ベンチマークから問題を借り、色、形、数え上げ、対称性から感情、交通、著名人まで、12のカテゴリーに分類している。各問題は、Simpler を基に作った模擬的な卓上環境での短いエピソード(試行)に置き換えられる。机の上には答えの候補となる2枚の画像が置かれ、問題は指示文として言い換えて与えられる。ロボットは、選んだ画像の上にキューブを置かなければならない。キューブが正解の画像の中心から一定の距離内で止まれば正解とする。1,720問のそれぞれを、左右の答えを入れ替えた配置でも実施して計3,440エピソードとしたため、常に同じ方向へ手を伸ばすロボットは得をしない。偶然による正答率は50%だ。π0、OpenVLA、Magma、SmolVLA などの VLA は、タスクに合わせた微調整をせず、公開されたままの状態で試験された。
色の問題では、VLA の正答率は86〜91%だった。形では、SpatialVLA の83%から π0 の49%まで幅があった。より高度な残り10のカテゴリーでは、大半が偶然の水準付近にとどまった。OpenVLA はすべてのカテゴリーで45〜52%、π0 は38〜51%だった。はっきりした例外は Magma で、著名人で94%、公共情報で88%、交通で80%に達した。ただし対称性では37%、数え上げでは51%にとどまった。比較のため、9つの VLM には場面の最初のフレームを見せ、指定した答えのボードが見えるか、見えるならどこにあるかを文章で尋ねた。著者らは、ほとんどの領域で元の VLM が、それを土台にした VLA をおおむね20〜40ポイント上回ったと報告している。著者らはこの差を、大まかな上限の見積もりと位置づけている。
知識がどこで失われるのかを探るため、著者らは線形プローブを使った。モデルのある層の内部活動を入力に学習させるごく単純な分類器で、その層から正解を読み取れるかを調べるものだ。4つのカテゴリーで調べたところ、正解は視覚言語の基盤部分(バックボーン)の中間層で、偶然を上回る精度で読み取れることが多かった。しかし最終層に近づくにつれて読み取りにくくなり、ほぼでたらめの水準まで落ちることも多かった。行動を生成する部分にどれだけ情報が届くかは、モデルによって異なった。Magma のプローブの最高精度は、バックボーンの75.2%から行動部分の72.6%へとわずかに下がっただけだったが、π0 では65.0%から55.4%に落ちた。画像の質問応答データでも学習した3つの VLA は、主にロボットデータで学習した3つより、全体として成績がよかった。ただし著者らはこれを関連として示しており、向上の度合いも一様ではないとしている。OpenVLA を、物体をつかんで置く小規模なデータセットでさらに微調整しても、改善はみられなかった。手本となる実演データを使った教師あり学習では、色の正答率が89%から82%に、形が64%から53%に下がった。強化学習では、どのカテゴリーも元の成績から3ポイント以内の変化にとどまった。
未解決の点は多い。著者らは、この手順で運動制御の影響は小さくなるものの、知識だけを完全に切り分けられるわけではないとしている。多くの結果は45〜58%の間にあり、その判定は偶然の水準の周りに設けた統計的な幅に左右される。設定も限られている。卓上環境は1つ、動作はキューブを置く1種類だけで、12のカテゴリーが7つの大きな領域を代表する形になっている。画像の質問応答データとの併用学習についての比較は、3モデル対3モデルに基づく。微調整の結果は1つのモデルだけに基づき、プローブによる解析も4つのカテゴリーしか扱っていない。結果が示すのは、これらのロボットモデルが公開されたままの状態では、この設定のもとで、こうした区別を行動に反映できないことが多かったということだ。その理由は、まだわかっていない。
- 論文
- Does VLA Even Know the Basics? Measuring Commonsense and World Knowledge Retention in Vision-Language-Action Models
- 著者
- Nikita Kachaev, Andrey Moskalenko, Matvey Skripkin, Nikita Kurlaev, Daria Pugacheva, Albina Burlova, Mikhail Kolosov, Denis Shepelev, Andrey Kuznetsov, Elena Tutubalina, Aleksandr I. Panov, Alexey K. Kovalev et al.
- 掲載
- arXiv プレプリント(査読前) · 2026年6月17日
- リンク
- arxiv.org/abs/2606.19297
- コード
- github.com/CognitiveAISystems/Act2Answer
- 英語版
- Robot AI models mostly score near chance on richer quiz questions answered by moving a cube


