Qwen、1つのロボット制御モデルで把持・移動・異なる機体を操る
Qwen チームのプレプリントによると、1つの視覚・言語・行動モデルがシミュレーションで専門モデルに並ぶが、差は小さいことが多く、実機試験は1機種にとどまる。

1つのロボット制御モデルが、シミュレーション上のロボットアームやヒューマノイドを動かし、仮想エージェントをシミュレーションの屋内空間で誘導できる。しかも、対象となるベンチマークの大半で、それぞれに合わせて調整されたシステムに並ぶか、わずかに上回る。Qwen チームの研究者らは、Qwen-VLA についてこのような結果を、査読を経ていないプレプリントとして arXiv で報告している。Qwen-VLA は視覚・言語・行動モデル(VLA)だ。VLA とは、カメラ画像と文章の指示を受け取り、ロボットの動作を出力するソフトウェアである。本シリーズの前の記事では、低〜中価格帯のハードウェア向けのオープンな VLA である Ai2 の MolmoAct2 を取り上げた(関連記事)。Qwen-VLA が投げかけるのはより広い問いで、1つのモデルがマニピュレーション(物体操作)、ナビゲーション、異なるロボットの身体を同時にこなせるかどうかである。
著者らによれば、物理世界で行動する機械を扱う身体性 AI(embodied AI)の大半は、1つのタスク群、1つのロボット、あるいは1つのベンチマークに縛られた専門モデルでできている。これらの仕事は統合しにくく見える。マニピュレーションはグリッパーの位置姿勢や関節角を出力し、ナビゲーションは経由点(ウェイポイント)を出力する。人の手を一人称視点で撮った動画からは、手首や手の軌跡が得られる。入力も、制御周波数も、どこまで先を予測するかも、それぞれ異なる。それでも著者らは、いずれも同じ構造を共有していると主張する。画像と言語を読み取り、身体の制約を守り、次に起こることを予測するという構造だ。
モデルの出発点は、画像とテキストをまとめて扱う視覚言語モデル Qwen3.5-4B だ。そこに「アクションエキスパート」を加えている。これはフローマッチングによって数値の運動指令を生成するトランスフォーマーのモジュールで、ランダムなノイズを段階的に目標の行動系列へと変える方法を学習する。ロボットのエンボディメント、すなわち身体と制御の構成は、指示の前に置く短いテキストのプロンプトだけで伝える。プロンプトには、ロボットの名称、腕の構成と移動台車の有無、制御周波数、何ステップ先まで予測するかが書かれる。すべてのロボットの行動は1つの共通の数値の入れ物に収められ、各機体は必要な枠だけを埋める。学習では、ロボットの実演データ、人の一人称視点の動画、シミュレーション、ナビゲーション、通常の画像・テキストデータを混ぜ、4つの段階を踏む。行動モジュールをテキストだけで慣らすウォームアップ、幅広い事前学習(ここで Qwen-VLA-Base ができる)、選別したタスクデータでのファインチューニング、そしてシミュレーション内での強化学習、つまり報酬に基づく試行錯誤である。最後の段階を経て Qwen-VLA-Instruct ができる。
シミュレーション上の4つのマニピュレーションのベンチマークで、1つの Instruct のチェックポイントが、それぞれ専用に調整されたモデルと比較された。Simpler-WidowX では73.7を記録し、表に挙がった中で次点のシステムの64.6を上回った。RoboTwin 2.0 では ABot-M0 をわずかに上回り、その差は易しい区分で0.1ポイント、難しい区分で2.2ポイントだった。一方、LIBERO(97.9対98.6)と、ヒューマノイドによる台所作業のベンチマーク RoboCasa-GR1(56.7対58.3)では ABot-M0 に及ばなかった。ここでいう「汎用」は、ゼロショット、つまりそのタスクで学習していないという意味ではない。Instruct はシミュレーションのマニピュレーションの実演データでファインチューニングされており、著者らはこの工程をタスク固有のアラインメントと呼んでいる。したがって強みは、1つのモデルが複数のモデルの仕事をこなせる点にある。誤差範囲は報告されていない。エージェントが道案内に従ってシミュレーションの3D 屋内空間を移動する R2R と RxR のナビゲーションのベンチマークでは、成功率が最も高く、それぞれ57.5%と59.6%だった。StreamVLN はそれぞれ56.9%と52.9%だったが、経路の質を測る一部の指標では StreamVLN が上回った。
幅広い事前学習が効くことを最もはっきり示す証拠は、実機の ALOHA ロボットから得られた。2本の腕に平行グリッパーと3台のカメラを備えた ALOHA を動かしたのは、Qwen-VLA-Base を ALOHA の実演データでファインチューニングした別のモデルだ。6つのタスク分類での平均成功率は83.6%で、同じアーキテクチャをゼロから学習させた場合の48.5%、π0.5 の71.6%を上回った。ただし、タオルたたみでは π0.5 のほうが良かった。分布外(OOD)の条件、つまり学習時に見ていない色、物体、位置、背景や照明、指示のもとでは76.9%に達し、π0.5 は41.5%、ゼロから学習させたモデルは36.2%だった。とはいえ、これは1機種での結果であり、統一チェックポイントとは別のモデルによるものである。
1つの要素だけを変えて比べるアブレーション実験からは、学習の手順が繊細であることがうかがえる。Simpler-WidowX では、テキストだけのウォームアップは、データの約5分の1が合成データのときにスコアを60.9から71.1に引き上げたが、実データだけでは51.0に下げた。また、ウォームアップを2,000ステップから40,000ステップに延ばすと、スコアは60.4まで落ちた。視覚言語データを加えると、RoboCasa-GR1 は51.1から56.0に、RoboTwin は81.8から86.4に上がった。
著者らは、ロボットの行動データが画像・テキストデータに比べてはるかに少なく、多様性も乏しいことを認めている。そのため、珍しい物体や環境、ロボットの身体、接触の多いタスクに対する頑健性が限られるという。すべてを一緒に学習させることにはトレードオフもあり、行動を重視した学習によって、純粋な視覚言語やナビゲーションの一部の結果がいくらか低下しうる。また、評価の大半は短い時間幅のもので、ベンチマーク主導である。長時間にわたり、失敗も起こりやすい実世界での運用は、まだ検証されていない課題として残っている。
- 論文
- Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments
- 著者
- Qiuyue Wang, Mingsheng Li, Jian Guan, Jinhui Ye, Sicheng Xie, Yitao Liu, Junhao Chen, Zhixuan Liang, Jie Zhang, Xintong Hu, Xuhong Huang, Pei Lin et al.
- 掲載
- arXiv プレプリント(査読前) · 2026年5月28日
- リンク
- arxiv.org/abs/2605.30280
- 英語版
- Qwen trains one robot model to grasp, navigate and drive different bodies


