←Embodied
    Embodied · 機器人未來預測 · 4 分鐘

    機器人模型預測三種未來,並權衡每個動作該參考哪些部分

    一篇預印本指出,HiFOR 會預測接下來幾個時刻、下一個任務里程碑和最終目標,再讓動作生成器依相關程度加權取用。

    2026年11月10日 · arXiv 預印本(未經同儕審查)
    Photo: Testalize Me

    被稱為視覺語言動作(VLA)模型的機器人策略,會把相機影像和一段文字指令直接轉成馬達指令。其中有些模型還會預測場景之後的樣子,把這份前瞻當成提示。一篇 2026 年發表在 arXiv、尚未經同儕審查的預印本介紹了 HiFOR,它同時預測三種距離的未來(往後幾步、任務中的下一個檢查點,以及完成時的目標)。接著,它的動作生成器會依這些預測與當下動作看起來的相關程度加以加權,而不是把所有預測全部照單接收。

    準備訓練資料需要下一番功夫。一個論文沒有說明是哪個模型的規劃代理(planning agent),會把每條指令拆成有先後順序的子目標,例如抓起馬克杯,每個子目標都附有完成標準。在成功的示範中,每個子目標達成的時刻,會依夾爪狀態的轉換、動作階段和機器人狀態自動找出,信心偏低的案例則標記出來交由人工複查。HiFOR 不預測像素。每一張相機畫面都會先經過 DINOv2(一種預先訓練好的影像編碼器,它產生的特徵能概括畫面裡有什麼),再匯聚成由 16 個區塊(patch)組成的網格。三組可學習的查詢(query)分別預測短期、里程碑和目標畫面的這些特徵。階層式依賴遮罩(Hierarchical Dependency Mask)是一條規定網路中哪些部分可以關注哪些部分的規則,它讓里程碑預測可以看到短期預測,目標預測可以看到前兩者,但反過來不行。

    動作由流匹配(flow matching)產生,這種方法從隨機雜訊出發,經過數個去噪步驟逐步修正,得到一小段馬達指令序列。在每一個步驟中,動作生成器都會分三個巢狀層級來權衡預測:先選哪一個預測距離,再在該距離下選哪一台相機,最後選哪一個影像區塊。合併後的權重決定哪些資訊會回流到動作中。

    成功率最低的是 RoboTwin 2.0 的 Hard 設定,這是一個模擬操作基準測試,會隨機改變雜物、光線、材質和物體高度。在 20 項任務、每項嘗試 100 次的測試中,作者報告 HiFOR 的平均成功率為 49.40%。π0.5 是一個既有的流匹配 VLA,作者重現了它的結果,而從論文的表格來看,HiFOR 似乎是以它為基礎建構的;它的成績是 40.35%。其餘基準模型中表現最好的是 Spatial Forcing 的 29.40% 和 X-VLA 的 23.25%。HiFOR 並非每項都勝出:在一項按鈴任務上,X-VLA 以 63% 對 48% 勝過它。在分數本來就很高的 LIBERO 基準測試上,HiFOR 平均 98.3,其他方法中最強的 VLA-Adapter 為 97.3。HiFOR 在 LIBERO 上相對 π0.5 進步最多的是長時程任務組,從 92.4 提高到 95.8。作者也在一支實體 AgileX Piper 機械手臂上做了測試,搭配腕部和第三人稱視角的相機,進行六項抓取、放置和堆疊任務,每項執行 50 次。HiFOR 平均 81.7%,比 π0.5 高 11.0 個百分點;π0.5 是內文中唯一拿來與它比較的模型。

    逐一加入各個元件後,RoboTwin 的成功率從 40.35 依序提升到 44.15、45.60、46.95,加入檢索步驟後達到 49.40。預測 DINOv2 特徵而非原始彩色像素時,LIBERO 長任務的得分為 95.8,對比 94.2。一項注意力視覺化顯示,模型在轉動爐子旋鈕時倚重里程碑預測和腕部相機,在最後放置物品時則倚重目標預測和第三人稱相機。這項證據只涵蓋作者挑選的幾個代表性時刻。

    這些證據有缺口。每個結果都只有單一數字,沒有重複不同的隨機種子,也沒有誤差線。RoboTwin 的 20 項任務中,只有 10 項出現在正文。只有 π0.5 標明是重現的結果;論文沒有說明其他基準模型的數字是怎麼取得的。論文批評了其他前瞻方法,卻沒有與它們正面比較。由於元件是按照一個固定順序逐一加入,遮罩和三步驟查找從未被單獨測試。額外的推論成本沒有報告。資料處理流程需要成功的專家示範,而人工複查的工作量也沒有量化。

    braintankAI 先前報導過一個 VLA,它透過描述場景將如何變化的精簡 token 來預判動作,而不是靠生成影片(相關報導)。HiFOR 同樣避開像素預測,而它自己的比較結果也偏向編碼器特徵,而非原始影像。ThinkWorld 則把想像出的結果當成訓練獎勵,讓機器人模型能從人類的影片中學習(相關報導)。HiFOR 則是在生成每個動作時參考自己的預測,並仰賴經過標註的機器人示範。

    論文
    HiFOR: Hierarchical Foresight with Action-Guided World Grounding for Vision-Language-Action Model
    作者
    Rongxing Ding, Hongyu Qu, Kehong Wu, Xudong Wang, Fan Zhang, Xinguang Xiang et al.
    刊登
    arXiv 預印本(未經同儕審查) · 2026年10月29日
    連結
    arxiv.org/abs/2610.40373
    英文版
    Robot model forecasts three futures and weighs which parts matter for each motion

    中文版報導

    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · 果蠅求偶

    食物氣味加上群體動態,開啟一種果蠅的求偶行為

    2026 年一項 Nature 研究發現,Drosophila erecta 果蠅的雄蠅會被食物氣味引發性興奮,群體動態再加以放大;少了這樣的環境,就不會交配。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 串流影片生成

    用獎勵分數告訴快速影片模型該把訓練重點放在哪裡

    Stream-R1 依獎勵模型的評分,為每段訓練影片、每個影格和區域加權,在相同速度下於基準測試小幅勝過直接對照的基準方法。

    arXiv 預印本 · 2026年5月5日

    Photo: Pascal Bernardon

    Far Field · 黑洞純量雲

    偏心軌道放大輕粒子雲在黑洞訊號上留下的痕跡

    發表在 Physical Review Letters 的計算發現,偏心旋近在最內側軌道附近出現共振,會加強純量雲在重力波上留下的痕跡。

    Physical Review Letters · 2026年10月20日