人の手の作業をスマホで撮った2000時間の映像、ロボット学習用に整備
Open-AoE は、人が物を扱う様子をスマートフォンで撮影した映像を集め、手の姿勢と動作の段階に注釈を付け、ロボットの訓練データに変換するツールも提供する。

物を扱うことを学ぶロボットには大量の手本が必要だ。最も安く手に入る供給源の1つが、人が日常の作業をする映像である。Ant Group が主導するチームは Open-AoE を公開した。約2000時間の一人称視点映像で、一人称視点映像とは作業する本人の視点から撮った映像を指す。ここでは作業中に身につけたスマートフォンで撮影されている。映像は500人以上の協力者が400機種以上のスマートフォンを使い、400以上の場面で撮ったものだ。各クリップには、手の3次元姿勢、空間内でのカメラの軌跡、各段階を説明する短いテキストが注釈として付いている。これらすべてを、いくつかの種類のロボット学習モデルの入力に変換するオープンなソフトウェアも含まれる。この研究は2026年に arXiv で公開された査読を経ていないプレプリントに記されており、データセットと基盤の公開にあたる。このデータで訓練したロボットの性能が上がることを示したものではない。
著者らの出発点は実用上の空白だ。人の操作を高品質に記録するには、通常は専用のヘッドセットや管理された撮影環境が必要で、協力できる人が限られる。日常の映像を大規模に集めるのは比較的たやすいが、そうした映像はロボットに必要な細部をたいてい欠いている。手がどこにあるか、カメラがどう動いたか、ある動作がどこで終わり次の動作がどこで始まるか、といった情報である。こうした映像を処理するツールはあるものの、それぞれが1つのデータセット向けに作られがちだ。著者らは、単なる映像ではなく、そのまま訓練に使えるデータを公開することを目標に掲げている。
撮影には普通のスマートフォンを使う。端末上で動く軽量な画像認識モデルが、手が映っているかどうかに応じて録画を開始・停止する。手が画面から外れたり端末の装着状態が悪かったりすると音声で知らせ、有効なクリップだけをアップロードする。クラウド側では、不具合のある映像や揺れの大きい映像、手の映っていない映像が除かれ、顔や機微な内容にはモザイクがかけられる。続いて、画像とテキストを合わせて読み取る AI である視覚言語モデルが各クリップを確認し、分野、場面、タスク、主要な物体のタグを付ける。再構成ソフトウェアはカメラの6自由度の軌跡(位置を表す3つの数値と回転を表す3つの数値)を推定し、人の手の標準的な3次元モデルである MANO を両手に当てはめる。最後の最適化で手とカメラをまとめて精緻化し、両者が一貫した1つの座標系を共有するようにする。クリップは人による修正を交えながら、コップを持ち上げるといった短い段階であるアトミックアクション(基本動作)に分割される。
ツール群は、人の手の動きを複数の市販ロボットハンドや人型ロボットにリターゲティングできる。つまり、その動きを特定の機械が実行できる関節の動きに変換する。ロボット化した映像も生成できる。人の腕を映像から消し、シミュレーション上のロボットが同じ動きをする様子を描き込んだものだ。さらにアダプターを使えば、画像と指示をロボットへの指令に対応づける既存の視覚・言語・行動モデルや、場面がどう変化するかを予測する世界モデルに合わせて、データの形を整えることもできる。
評価では、Open-AoE を OpenEgo、EgoDex、EgoXtreme の3つのデータセットと比べた。それぞれ約100時間のサンプルを使い、規模の小さい EgoXtreme は公開分全体を用いた。画像埋め込みを使った3000回の再標本化試行で、Open-AoE は視覚的多様性を測る6つの指標すべてで平均が最も高かった。ただし、被覆率とエントロピーの指標では差は小さく、特に OpenEgo との差は小さかった。100時間分の監査では、動作ラベルが映像時間の99.99%を覆い、異なる説明文は32407種類、動作を表す動詞は175種類だった。約98%の項目で両手の追跡が有効で、映像1時間あたり約1760個の4秒の訓練用ウィンドウが得られた。これは理論上の最大値の97.8%にあたる。別の視覚言語モデル Idefics2 に注釈と画像の一致度を5段階で評価させたところ、Open-AoE の平均は4.583で、OpenEgo は約3.0、EgoDex は約2.9、EgoXtreme は約2.0だった。
著者らはこの最後の結果を、注釈の正確さを統制して検証したものではなく、共通の評価者のもとでの監査だと位置づけている。各データセットのラベル付けの方式は大きく異なり、Open-AoE の英語の自由記述ラベル自体もモデルが生成し、人が見直したものだ。完全性を示す高い数値の一部は、著者ら自身の選別基準を部分的に反映してもいる。再構成した手とカメラの軌跡の精度は正解データと照合されておらず、詳しい統計は全2000時間のうち100時間分のサンプルに基づく。最も重要なのは、このデータでモデルやロボットを1つも訓練していない点だ。著者らは、多くの異なるスマートフォンのカメラを使う利点を、統制された実験で検証すべき仮説だとしている。この集積がより良い訓練材料になるかどうかは、まだわかっていない。
- 論文
- Open-AoE: An Open Egocentric Manipulation Dataset and Toolchain for Embodied Learning
- 著者
- Zishuo Li, Bowen Yang, Changtao Miao, Kai Zhu, Hao Chen, Qingze Guan, Zhengxing Wu, Wanke Zhan, Yang Sun, Zhiyi Huang, Zitong Shan, Zhenchao Jin et al.
- 掲載
- arXiv プレプリント(査読前) · 2026年7月15日
- リンク
- arxiv.org/abs/2607.14183
- コード
- github.com/ant-research/Open-AoE
- 英語版
- Two thousand hours of smartphone video of human hands, packaged for training robots


