ASIA
    ←Embodied
    Embodied · 機器人訓練資料 · 3 分鐘
    HANGZHOU · Ant Group (inclusionAI)

    2,000 小時手機拍攝的人手影片,整理成機器人訓練資料

    Open-AoE 收集用手機拍下的人們操作物品影片,標註手部姿態與動作步驟,並提供把這些影片轉成機器人訓練資料的工具。

    2026年11月15日 · arXiv 預印本(未經同儕審查)
    Photo: Yang Plasticine

    要學會操作物品的機器人需要大量範例,而最便宜的來源之一,就是人們做日常工作的影片。一個由螞蟻集團(Ant Group)領軍的團隊發布了 Open-AoE,內含約 2,000 小時的第一人稱視角影片(egocentric video),也就是從當事人自己的視角拍下的畫面,在這裡是由人們工作時戴在身上的智慧型手機錄製。影片來自超過 500 名貢獻者,使用超過 400 款手機,在超過 400 個場景中拍攝。每段影片都標註了 3D 手部姿態、攝影機在空間中的移動路徑,以及每個步驟的簡短文字描述。發布內容還包括開源軟體,可以把這些資料轉換成多種機器人學習模型的輸入。這項研究發表於 arXiv 上一篇 2026 年、尚未經同儕審查的預印本,屬於資料集與基礎設施的發布,並未證明用這些資料訓練的機器人表現更好。

    作者從一個實務上的缺口出發。高品質的人類操作錄影,通常仰賴專用的頭戴裝置或受控的拍攝環境,限制了誰能參與貢獻。大量的日常影片比較容易收集,但通常缺少機器人需要的細節:手在哪裡、攝影機怎麼移動、一個動作何時結束、下一個動作何時開始。處理這類影片的工具雖然存在,但往往各自只為某一個資料集打造。作者把目標定為發布可以直接拿來訓練的資料,而不只是影片。

    拍攝在一般手機上進行。手機上的輕量視覺模型會依畫面中是否看得到手,自動開始或停止錄影;手跑出畫面或手機戴得不好時會發出語音提示,而且只上傳有效的片段。到了雲端,有問題、晃動或沒拍到手的畫面會被剔除,人臉和敏感內容則打上馬賽克。接著由一個視覺語言模型(能同時讀取圖像和文字的 AI 系統)檢查每段影片,並依領域、場景、任務和關鍵物品加上標籤。重建軟體會估算攝影機的 6 自由度軌跡(3 個數值表示位置、3 個表示旋轉),並把 MANO(一種標準的人手 3D 模型)套用到雙手上。最後一道最佳化會同時微調手部和攝影機,讓兩者共用一個一致的座標系。影片會切分成原子動作,也就是像「拿起杯子」這樣的簡短步驟,並經過人工修正。

    這套工具鏈可以把人手的動作重新定向(retarget)到數款商用機器手和人形機器人上,也就是把動作轉換成特定機器能執行的關節運動。它也能產生「機器人化」影片:把畫面中的人類手臂抹除,再渲染出一台模擬機器人做出相同的動作。另外還有轉接器,可以把資料重新整理成現有視覺-語言-動作模型(把圖像和指令對應到機器人指令的模型),以及世界模型(預測場景會如何變化的模型)所需的格式。

    評估部分把 Open-AoE 與另外三個資料集 OpenEgo、EgoDex 和 EgoXtreme 相比,各取約 100 小時的樣本;規模較小的 EgoXtreme 則使用完整的發布內容。在以圖像嵌入(image embeddings)進行的 3,000 次重新抽樣試驗中,Open-AoE 在全部 6 項視覺多樣性指標上的平均分數都最高,不過在涵蓋度和熵相關的指標上領先幅度不大,相對於 OpenEgo 尤其如此。在一次 100 小時的稽核中,動作標籤涵蓋了 99.99% 的影片時間,共有 32,407 種不同的描述和 175 個動作動詞。約 98% 的條目雙手都有有效的追蹤,每小時影片約可切出 1,760 個 4 秒長的訓練視窗,達理論最大值的 97.8%。另外由一個獨立的視覺語言模型 Idefics2,以 5 分制評估標註與畫面的吻合程度,Open-AoE 平均 4.583 分,OpenEgo、EgoDex 和 EgoXtreme 則分別約為 3.0、2.9 和 2.0 分。

    作者把最後這項結果稱為在同一位評審下所做的稽核,而不是針對標註準確度的對照測試。各資料集的標註風格差異很大,而 Open-AoE 的英文自由文字標籤本身就是由模型生成、再經人工審查。部分很高的完整度數字,也有一部分反映了作者自己設下的篩選關卡。重建出來的手部和攝影機路徑,準確度並沒有和真實值(ground truth)比對;詳細的統計也來自全部 2,000 小時中的 100 小時樣本。最重要的是,研究並沒有用這些資料訓練任何模型或機器人。作者把「擁有許多不同手機鏡頭」的好處描述為仍有待對照實驗檢驗的假設;這批資料是否是更好的訓練素材,仍是未解的問題。

    論文
    Open-AoE: An Open Egocentric Manipulation Dataset and Toolchain for Embodied Learning
    作者
    Zishuo Li, Bowen Yang, Changtao Miao, Kai Zhu, Hao Chen, Qingze Guan, Zhengxing Wu, Wanke Zhan, Yang Sun, Zhiyi Huang, Zitong Shan, Zhenchao Jin et al.
    刊登
    arXiv 預印本(未經同儕審查) · 2026年7月15日
    連結
    arxiv.org/abs/2607.14183
    程式碼
    github.com/ant-research/Open-AoE
    英文版
    Two thousand hours of smartphone video of human hands, packaged for training robots

    中文版報導

    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · 果蠅求偶

    食物氣味加上群體動態,開啟一種果蠅的求偶行為

    2026 年一項 Nature 研究發現,Drosophila erecta 果蠅的雄蠅會被食物氣味引發性興奮,群體動態再加以放大;少了這樣的環境,就不會交配。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 串流影片生成

    用獎勵分數告訴快速影片模型該把訓練重點放在哪裡

    Stream-R1 依獎勵模型的評分,為每段訓練影片、每個影格和區域加權,在相同速度下於基準測試小幅勝過直接對照的基準方法。

    arXiv 預印本 · 2026年5月5日

    Photo: Pascal Bernardon

    Far Field · 黑洞純量雲

    偏心軌道放大輕粒子雲在黑洞訊號上留下的痕跡

    發表在 Physical Review Letters 的計算發現,偏心旋近在最內側軌道附近出現共振,會加強純量雲在重力波上留下的痕跡。

    Physical Review Letters · 2026年10月20日