2,000 小時手機拍攝的人手影片,整理成機器人訓練資料
Open-AoE 收集用手機拍下的人們操作物品影片,標註手部姿態與動作步驟,並提供把這些影片轉成機器人訓練資料的工具。

要學會操作物品的機器人需要大量範例,而最便宜的來源之一,就是人們做日常工作的影片。一個由螞蟻集團(Ant Group)領軍的團隊發布了 Open-AoE,內含約 2,000 小時的第一人稱視角影片(egocentric video),也就是從當事人自己的視角拍下的畫面,在這裡是由人們工作時戴在身上的智慧型手機錄製。影片來自超過 500 名貢獻者,使用超過 400 款手機,在超過 400 個場景中拍攝。每段影片都標註了 3D 手部姿態、攝影機在空間中的移動路徑,以及每個步驟的簡短文字描述。發布內容還包括開源軟體,可以把這些資料轉換成多種機器人學習模型的輸入。這項研究發表於 arXiv 上一篇 2026 年、尚未經同儕審查的預印本,屬於資料集與基礎設施的發布,並未證明用這些資料訓練的機器人表現更好。
作者從一個實務上的缺口出發。高品質的人類操作錄影,通常仰賴專用的頭戴裝置或受控的拍攝環境,限制了誰能參與貢獻。大量的日常影片比較容易收集,但通常缺少機器人需要的細節:手在哪裡、攝影機怎麼移動、一個動作何時結束、下一個動作何時開始。處理這類影片的工具雖然存在,但往往各自只為某一個資料集打造。作者把目標定為發布可以直接拿來訓練的資料,而不只是影片。
拍攝在一般手機上進行。手機上的輕量視覺模型會依畫面中是否看得到手,自動開始或停止錄影;手跑出畫面或手機戴得不好時會發出語音提示,而且只上傳有效的片段。到了雲端,有問題、晃動或沒拍到手的畫面會被剔除,人臉和敏感內容則打上馬賽克。接著由一個視覺語言模型(能同時讀取圖像和文字的 AI 系統)檢查每段影片,並依領域、場景、任務和關鍵物品加上標籤。重建軟體會估算攝影機的 6 自由度軌跡(3 個數值表示位置、3 個表示旋轉),並把 MANO(一種標準的人手 3D 模型)套用到雙手上。最後一道最佳化會同時微調手部和攝影機,讓兩者共用一個一致的座標系。影片會切分成原子動作,也就是像「拿起杯子」這樣的簡短步驟,並經過人工修正。
這套工具鏈可以把人手的動作重新定向(retarget)到數款商用機器手和人形機器人上,也就是把動作轉換成特定機器能執行的關節運動。它也能產生「機器人化」影片:把畫面中的人類手臂抹除,再渲染出一台模擬機器人做出相同的動作。另外還有轉接器,可以把資料重新整理成現有視覺-語言-動作模型(把圖像和指令對應到機器人指令的模型),以及世界模型(預測場景會如何變化的模型)所需的格式。
評估部分把 Open-AoE 與另外三個資料集 OpenEgo、EgoDex 和 EgoXtreme 相比,各取約 100 小時的樣本;規模較小的 EgoXtreme 則使用完整的發布內容。在以圖像嵌入(image embeddings)進行的 3,000 次重新抽樣試驗中,Open-AoE 在全部 6 項視覺多樣性指標上的平均分數都最高,不過在涵蓋度和熵相關的指標上領先幅度不大,相對於 OpenEgo 尤其如此。在一次 100 小時的稽核中,動作標籤涵蓋了 99.99% 的影片時間,共有 32,407 種不同的描述和 175 個動作動詞。約 98% 的條目雙手都有有效的追蹤,每小時影片約可切出 1,760 個 4 秒長的訓練視窗,達理論最大值的 97.8%。另外由一個獨立的視覺語言模型 Idefics2,以 5 分制評估標註與畫面的吻合程度,Open-AoE 平均 4.583 分,OpenEgo、EgoDex 和 EgoXtreme 則分別約為 3.0、2.9 和 2.0 分。
作者把最後這項結果稱為在同一位評審下所做的稽核,而不是針對標註準確度的對照測試。各資料集的標註風格差異很大,而 Open-AoE 的英文自由文字標籤本身就是由模型生成、再經人工審查。部分很高的完整度數字,也有一部分反映了作者自己設下的篩選關卡。重建出來的手部和攝影機路徑,準確度並沒有和真實值(ground truth)比對;詳細的統計也來自全部 2,000 小時中的 100 小時樣本。最重要的是,研究並沒有用這些資料訓練任何模型或機器人。作者把「擁有許多不同手機鏡頭」的好處描述為仍有待對照實驗檢驗的假設;這批資料是否是更好的訓練素材,仍是未解的問題。
- 論文
- Open-AoE: An Open Egocentric Manipulation Dataset and Toolchain for Embodied Learning
- 作者
- Zishuo Li, Bowen Yang, Changtao Miao, Kai Zhu, Hao Chen, Qingze Guan, Zhengxing Wu, Wanke Zhan, Yang Sun, Zhiyi Huang, Zitong Shan, Zhenchao Jin et al.
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年7月15日
- 連結
- arxiv.org/abs/2607.14183
- 程式碼
- github.com/ant-research/Open-AoE
- 英文版
- Two thousand hours of smartphone video of human hands, packaged for training robots


