Qwen 訓練一個機器人模型,能抓取、導航並驅動不同機身
Qwen 團隊的預印本指出,一個視覺-語言-動作模型在模擬中可與各基準測試的專才系統匹敵,但差距常很小,真實機器人測試也只用一個平台。

單一個機器人控制模型,就能操控模擬環境中的機械手臂和人形機器人,也能引導虛擬代理人穿過模擬的室內空間;在它面對的多數基準測試上,表現與針對各項測試個別調校的系統相當,或略勝一籌。這是 Qwen 團隊研究人員在一篇尚未經同儕審查的 arXiv 預印本中,為 Qwen-VLA 報告的結果。Qwen-VLA 是一種視覺-語言-動作模型(VLA),也就是讀取攝影機影像和文字指令、輸出機器人動作的軟體。本系列上一篇報導介紹了 Ai2 的 MolmoAct2,一款針對中低成本硬體的開放 VLA(相關報導)。Qwen-VLA 想回答的問題更廣:一個模型能否同時涵蓋物件操作、導航和不同的機器人身體。
作者指出,具身 AI(embodied AI,也就是讓機器在實體世界中行動的領域)大多是專才模型,各自綁定一類任務、一款機器人或一項基準測試。這些工作看起來很難合併:物件操作輸出的是夾爪姿態或關節角度,導航輸出的是路徑點,人手的第一人稱影片則提供手腕和手部的軌跡;三者的輸入、控制頻率和往後預測的長度都不一樣。作者認為,它們其實有共同的結構:讀取影像和語言、遵守身體的限制,再預測接下來的動作。
這個模型以 Qwen3.5-4B 為基礎,這是一個能同時處理影像和文字的視覺語言模型。研究團隊在上面加了一個「動作專家」(action expert),也就是一個以流匹配(flow matching)產生數值馬達指令的 transformer 模組;流匹配的做法是讓模型學會把隨機雜訊一步步轉換成目標動作序列。機器人的具身形態(embodiment),也就是它的身體和控制配置,只靠指令前面一小段文字提示告訴模型,內容包括機器人的名稱、手臂和有沒有移動底座、控制頻率,以及要預測幾步。所有機器人的動作共用同一個數值容器,每種身體只填自己需要的欄位。訓練資料混合了機器人示範、人類的第一人稱影片、模擬、導航和一般的圖文資料,分成四個階段:先只用文字讓動作模組暖身,接著做大範圍的預訓練(得到 Qwen-VLA-Base),再用精選的任務資料微調,最後在模擬環境中做強化學習,也就是靠獎勵驅動的試誤(得到 Qwen-VLA-Instruct)。
在四項模擬物件操作基準測試上,同一個 Instruct 檢查點(checkpoint)對上針對各項測試調校的模型。它在 Simpler-WidowX 拿到 73.7 分,表中次佳的系統為 64.6 分;在 RoboTwin 2.0 則小勝 ABot-M0,簡單級距多 0.1 分,困難級距多 2.2 分。在 LIBERO(97.9 對 98.6)和人形機器人廚房基準測試 RoboCasa-GR1(56.7 對 58.3)上,它則落後 ABot-M0。這裡的「通才」並不代表零樣本(zero-shot,也就是沒有針對該任務訓練過):Instruct 用模擬的物件操作示範微調過,作者稱這一步為針對任務的對齊,所以它的優勢在於一個模型就能做好幾個模型的工作。論文沒有附上誤差範圍。在 R2R 和 RxR 這兩項導航基準測試中,代理人要依照指示穿過模擬的 3D 室內場景;它的成功率最高,分別為 57.5% 和 59.6%,StreamVLN 則是 56.9% 和 52.9%,不過 StreamVLN 在部分路線品質指標上領先。
大範圍預訓練有幫助的最明確證據,來自一台真實的 ALOHA 機器人。它有兩隻手臂、平行夾爪和三台攝影機,由另一個模型驅動:這個模型以 Qwen-VLA-Base 為起點,用 ALOHA 的示範資料微調而成。在六類任務中,它的平均成功率為 83.6%;同樣架構但從頭訓練的版本為 48.5%,π0.5 為 71.6%,而 π0.5 在摺毛巾上表現較好。在分布外(out-of-distribution)條件下,也就是顏色、物體、位置、背景或光線,以及指令都是訓練時沒見過的,它達到 76.9%,π0.5 為 41.5%,從頭訓練的版本為 36.2%。不過這只是單一平台,而且是與統一檢查點不同的另一個模型。
消融實驗(ablation,每次只改變一個要素的測試)顯示,這套訓練配方相當敏感。在 Simpler-WidowX 上,純文字暖身階段若約五分之一的資料是合成資料,分數會從 60.9 提高到 71.1;只用真實資料,分數反而降到 51.0;把暖身從 2,000 步拉長到 40,000 步,分數則掉到 60.4。加入視覺語言資料後,RoboCasa-GR1 從 51.1 提高到 56.0,RoboTwin 從 81.8 提高到 86.4。
作者坦承,機器人動作資料仍遠比圖文資料稀少、多樣性也較低,這限制了模型面對少見物體、環境、機器人身體和需要大量接觸的任務時的穩健性。把所有資料放在一起訓練也有取捨:以動作為主的訓練,可能讓部分純視覺語言和導航成績略為退步。此外,多數評估都是短時程、以基準測試為主,因此在真實世界長時間、容易出錯的部署中表現如何,仍有待檢驗。
- 論文
- Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments
- 作者
- Qiuyue Wang, Mingsheng Li, Jian Guan, Jinhui Ye, Sicheng Xie, Yitao Liu, Junhao Chen, Zhixuan Liang, Jie Zhang, Xintong Hu, Xuhong Huang, Pei Lin et al.
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年5月28日
- 連結
- arxiv.org/abs/2605.30280
- 英文版
- Qwen trains one robot model to grasp, navigate and drive different bodies


