機器人 AI 模型移動方塊答題,較複雜的題目多半接近隨機猜測
一篇預印本把知識問答題改成模擬的桌面任務,發現多數受測的機器人模型,無法根據視覺語言模型擅長的許多知識採取行動。

在一項模擬測試中,以視覺語言 AI 為基礎打造的 7 個機器人模型,多數無法依據原本的視覺語言模型能妥善處理的常識與世界知識採取行動。這項發現出自 Nikita Kachaev、Alexey K. Kovalev 與同事發表的一篇尚未經同儕審查的預印本。這些模型以把方塊放到所選圖片上的方式,回答二選一的測驗題。它們能穩定選出正確的顏色,但在情緒、時間等較複雜的題目上,表現大多跟擲硬幣差不多。作者把這解讀為機器人模型標準建構方式所付出的代價。
這種標準做法產生的是視覺-語言-動作模型(vision-language-action model,簡稱 VLA),它接收攝影機影像和文字指令,輸出控制馬達的指令。VLA 通常是拿視覺語言模型(VLM,能以文字回答關於圖片的問題)再用機器人資料微調而成。本系列先前報導過的模型,例如 Ai2 的 MolmoAct2,同樣是以視覺語言模型為基礎(相關報導)。作者認為,機器人基準測試通常只回報整個任務是否成功。這單一數字混雜了感知、知識、動作控制和環境等因素,因此很難把失敗歸咎於缺乏知識。如果改讓機器人模型裡的 VLM 元件以文字作答,可以看出知識是否仍能用言語表達,卻看不出它能否引導動作。
作者設計的測試名為 Act2Answer,從既有的 VLM 基準測試借用題目,分成 12 個類別,從顏色、形狀、計數、對稱,到情緒、交通和名人都有。每道題都變成一段在模擬桌面環境中進行的短回合,環境以 Simpler 建構。桌上擺著兩張候選圖片,題目改寫成指令,機器人必須把方塊放到它選的圖片上。方塊停在距離正確圖片中心一定範圍內,該回合就算答對。1,720 道題目每一道也會把左右答案對調再跑一次,總共 3,440 個回合,因此總是往同一邊伸手的機器人占不到便宜。隨機猜測的水準是 50%。受測的 VLA 包括 π0、OpenVLA、Magma 和 SmolVLA 等,都以公開釋出的版本測試,沒有針對任務額外微調。
在顏色題上,VLA 的得分為 86–91%。形狀題則從 SpatialVLA 的 83% 到 π0 的 49% 不等。其餘 10 個較複雜的類別,多數模型都在隨機水準附近徘徊:OpenVLA 每一類都是 45–52%,π0 則是 38–51%。Magma 是明顯的例外,名人題達 94%,公共資訊題 88%,交通題 80%,不過對稱題只有 37%,計數題 51%。研究團隊也讓 9 個 VLM 看場景的第一個畫面,以文字詢問某個指定的答案板是否看得到、位在哪裡。作者表示,在多數領域中,原本的 VLM 得分比以它們為基礎的 VLA 高出約 20 到 40 個百分點。他們把這視為粗略的上限估計。
為了找出知識在哪裡流失,作者使用了線性探針(linear probe)。這是在模型某一層的內部活動上訓練的極簡單分類器,用來檢驗能否從那一層讀出正確答案。在 4 個類別中,正確答案往往能在視覺語言骨幹的中間層以高於隨機的準確度讀出,但越接近最後幾層越模糊,常常降到接近隨機。能傳到負責產生動作那一部分的資訊多寡,各模型不一。Magma 的最佳探針準確度只從骨幹的 75.2% 微降到動作部分的 72.6%,π0 則從 65.0% 降到 55.4%。另外,3 個同時以圖片問答資料訓練的 VLA,整體表現優於 3 個主要以機器人資料訓練的 VLA,不過作者把這呈現為一種關聯,而且提升幅度並不一致。拿一個小型的抓取放置資料集進一步微調 OpenVLA,也沒有幫助。以示範範例做監督式訓練後,它的顏色題得分從 89% 降到 82%,形狀題從 64% 降到 53%。強化學習則讓每個類別都維持在原始分數 3 個百分點以內。
還有許多問題尚無定論。作者表示,這套測試流程降低了動作控制的影響,但並未完全把知識獨立出來。許多結果落在 45% 到 58% 之間,判定與否取決於隨機水準上下的統計誤差範圍。測試設定也很狹窄:只有一張桌面、一種放方塊的動作,並以 12 個類別代表 7 大領域。加入圖片問答資料訓練的比較,只是 3 個模型對 3 個模型;微調結果只來自 1 個模型,探針分析也只涵蓋 4 個類別。結果顯示,這些以公開版本測試的機器人模型,在這個情境下大多無法依據這類區別採取行動。原因為何,仍是未解的問題。
- 論文
- Does VLA Even Know the Basics? Measuring Commonsense and World Knowledge Retention in Vision-Language-Action Models
- 作者
- Nikita Kachaev, Andrey Moskalenko, Matvey Skripkin, Nikita Kurlaev, Daria Pugacheva, Albina Burlova, Mikhail Kolosov, Denis Shepelev, Andrey Kuznetsov, Elena Tutubalina, Aleksandr I. Panov, Alexey K. Kovalev et al.
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年6月17日
- 連結
- arxiv.org/abs/2606.19297
- 程式碼
- github.com/CognitiveAISystems/Act2Answer
- 英文版
- Robot AI models mostly score near chance on richer quiz questions answered by moving a cube


