ロボットモデルが3つの未来を予測し、動作ごとに重要な部分を重みづける
HiFOR は数ステップ先、次のタスクの節目、最終目標を予測し、行動生成器が関連しそうな部分を重みづけて使うと、プレプリントが報告している。

視覚・言語・行動(VLA)モデルと呼ばれるロボットの方策は、カメラ画像と文字で入力された指示を、直接モーターへの指令に変換する。中には、場面がこの先どう見えるかを予測し、その見通しを手がかりに使うものもある。2026年に arXiv で公開された、査読を経ていないプレプリントで述べられている HiFOR は、3つの距離で同時に予測する(数ステップ先、タスクの次のチェックポイント、完了したゴール)。そのうえで行動生成器は、すべての予測をそのまま受け取るのではなく、現在の動作にどれだけ関係していそうかに応じて予測を重みづける。
学習データの準備には手間がかかる。論文が名前を明かしていない計画エージェントが、各指示を順序付きのサブゴール(たとえばマグカップをつかむ)に分割し、それぞれに完了条件を設ける。成功したデモンストレーションの中で各サブゴールが達成された時点は、グリッパーの状態の切り替わり、動作の局面、ロボットの状態から自動的に特定され、確信度の低い事例は人手による確認に回される。HiFOR はピクセルを予測しない。各カメラ画像は、画像に何が写っているかを特徴量として要約する事前学習済みの画像エンコーダー DINOv2 に通され、16個のパッチからなる格子にまとめられる。3組の学習可能なクエリが、短期、節目(マイルストーン)、ゴールの各フレームについてこの特徴量を予測する。ネットワークのどの部分がどの部分に注意を向けてよいかを定める規則である階層的依存マスク(Hierarchical Dependency Mask)により、節目の予測は短期の予測を、ゴールの予測はその両方を参照できるが、逆向きの参照はできない。
行動はフローマッチングで生成される。ランダムなノイズから出発し、何段階かのノイズ除去ステップを経て、短いモーター指令の列へと仕上げていく手法だ。行動生成器は各ステップで、予測を入れ子になった3つの段階で重みづける。まずどの時間幅か、次にその時間幅のもとでどのカメラか、そしてどの画像パッチかである。これらを組み合わせた重みが、何を行動に反映させるかを決める。
成功率が最も低かったのは、散らかり具合、照明、テクスチャー、物体の高さをランダムに変えるシミュレーション上の操作ベンチマーク、RoboTwin 2.0 の Hard 設定だった。20のタスクをそれぞれ100回試行し、著者らは平均成功率49.40%を報告している。π0.5 の数値は40.35%だった。π0.5 は既存のフローマッチング型 VLA で、著者らが結果を再現したモデルであり、論文の表から判断すると HiFOR の土台になっているとみられる。残りのベースラインで最も高かったのは Spatial Forcing の29.40%と X-VLA の23.25%だった。HiFOR がすべてで勝ったわけではなく、ベルを押すタスクでは X-VLA が63%対48%で上回った。すでにスコアが高い LIBERO ベンチマークでは、HiFOR の平均は98.3で、他の手法で最も高い VLA-Adapter の97.3を上回った。LIBERO で π0.5 に対する伸びが最も大きかったのは長期タスク群で、92.4から95.8に上がった。著者らは、手首カメラと第三者視点カメラを備えた実機の AgileX Piper アームでも、つかむ、置く、積み重ねる6つのタスクをそれぞれ50回試した。HiFOR の平均は81.7%で、本文で比較されている唯一のモデルである π0.5 を11.0ポイント上回った。
構成要素を1つずつ加えていくと、RoboTwin の成功率は40.35から44.15、45.60、46.95へと上がり、予測を選んで取り込む検索の段階を加えた時点で49.40に達した。生のカラーピクセルではなく DINOv2 の特徴量を予測した場合、LIBERO の長期タスクでのスコアは95.8で、ピクセルの場合の94.2を上回った。注意の可視化では、コンロのつまみを回す場面ではモデルが節目の予測と手首カメラに、最後に物を置く場面ではゴールの予測と第三者視点カメラに重きを置く様子が示された。ただしこの証拠は、著者らが選んだいくつかの代表的な場面に限られる。
証拠には欠けている部分もある。結果はすべて単一の数値で、乱数シードを変えた反復実験もエラーバーも示されていない。RoboTwin の20タスクのうち、本文に載っているのは10タスクだけだ。再現したと明記されているのは π0.5 のみで、他のベースラインの数値をどう得たかは書かれていない。論文が批判する未来予測型の手法との直接比較もない。構成要素は決まった1つの順序で加えられたため、マスクと3段階の参照はそれぞれ単独では検証されていない。推論にかかる追加コストも報告されていない。データ作成の手順には成功した熟練者のデモンストレーションが必要で、人手による確認の量も数値で示されていない。
braintankAI は以前、生成した動画ではなく、場面がどう変化するかを表すコンパクトなトークンを通じて動きを先読みする VLA を取り上げた(関連記事)。HiFOR も同様にピクセルの予測を避けており、論文自身の比較でも生の画像よりエンコーダーの特徴量のほうが良い結果を示した。ThinkWorld は、ロボットのモデルが人間の映像から学べるよう、想像した結果を学習時の報酬として使った(関連記事)。これに対し HiFOR は、各行動を生成する最中に予測を参照し、注釈付きのロボットのデモンストレーションに依存している。
- 論文
- HiFOR: Hierarchical Foresight with Action-Guided World Grounding for Vision-Language-Action Model
- 著者
- Rongxing Ding, Hongyu Qu, Kehong Wu, Xudong Wang, Fan Zhang, Xinguang Xiang et al.
- 掲載
- arXiv プレプリント(査読前) · 2026年10月29日
- リンク
- arxiv.org/abs/2610.40373
- 英語版
- Robot model forecasts three futures and weighs which parts matter for each motion


