←Embodied
    Embodied · 通用機器人模型 · 4 分鐘

    Qwen 訓練一個機器人模型,能抓取、導航並驅動不同機身

    Qwen 團隊的預印本指出,一個視覺-語言-動作模型在模擬中可與各基準測試的專才系統匹敵,但差距常很小,真實機器人測試也只用一個平台。

    2026年11月4日 · arXiv 預印本(未經同儕審查)
    背景有螢幕字, 可用
    Photo: Arseny Togulev

    單一個機器人控制模型,就能操控模擬環境中的機械手臂和人形機器人,也能引導虛擬代理人穿過模擬的室內空間;在它面對的多數基準測試上,表現與針對各項測試個別調校的系統相當,或略勝一籌。這是 Qwen 團隊研究人員在一篇尚未經同儕審查的 arXiv 預印本中,為 Qwen-VLA 報告的結果。Qwen-VLA 是一種視覺-語言-動作模型(VLA),也就是讀取攝影機影像和文字指令、輸出機器人動作的軟體。本系列上一篇報導介紹了 Ai2 的 MolmoAct2,一款針對中低成本硬體的開放 VLA(相關報導)。Qwen-VLA 想回答的問題更廣:一個模型能否同時涵蓋物件操作、導航和不同的機器人身體。

    作者指出,具身 AI(embodied AI,也就是讓機器在實體世界中行動的領域)大多是專才模型,各自綁定一類任務、一款機器人或一項基準測試。這些工作看起來很難合併:物件操作輸出的是夾爪姿態或關節角度,導航輸出的是路徑點,人手的第一人稱影片則提供手腕和手部的軌跡;三者的輸入、控制頻率和往後預測的長度都不一樣。作者認為,它們其實有共同的結構:讀取影像和語言、遵守身體的限制,再預測接下來的動作。

    這個模型以 Qwen3.5-4B 為基礎,這是一個能同時處理影像和文字的視覺語言模型。研究團隊在上面加了一個「動作專家」(action expert),也就是一個以流匹配(flow matching)產生數值馬達指令的 transformer 模組;流匹配的做法是讓模型學會把隨機雜訊一步步轉換成目標動作序列。機器人的具身形態(embodiment),也就是它的身體和控制配置,只靠指令前面一小段文字提示告訴模型,內容包括機器人的名稱、手臂和有沒有移動底座、控制頻率,以及要預測幾步。所有機器人的動作共用同一個數值容器,每種身體只填自己需要的欄位。訓練資料混合了機器人示範、人類的第一人稱影片、模擬、導航和一般的圖文資料,分成四個階段:先只用文字讓動作模組暖身,接著做大範圍的預訓練(得到 Qwen-VLA-Base),再用精選的任務資料微調,最後在模擬環境中做強化學習,也就是靠獎勵驅動的試誤(得到 Qwen-VLA-Instruct)。

    在四項模擬物件操作基準測試上,同一個 Instruct 檢查點(checkpoint)對上針對各項測試調校的模型。它在 Simpler-WidowX 拿到 73.7 分,表中次佳的系統為 64.6 分;在 RoboTwin 2.0 則小勝 ABot-M0,簡單級距多 0.1 分,困難級距多 2.2 分。在 LIBERO(97.9 對 98.6)和人形機器人廚房基準測試 RoboCasa-GR1(56.7 對 58.3)上,它則落後 ABot-M0。這裡的「通才」並不代表零樣本(zero-shot,也就是沒有針對該任務訓練過):Instruct 用模擬的物件操作示範微調過,作者稱這一步為針對任務的對齊,所以它的優勢在於一個模型就能做好幾個模型的工作。論文沒有附上誤差範圍。在 R2R 和 RxR 這兩項導航基準測試中,代理人要依照指示穿過模擬的 3D 室內場景;它的成功率最高,分別為 57.5% 和 59.6%,StreamVLN 則是 56.9% 和 52.9%,不過 StreamVLN 在部分路線品質指標上領先。

    大範圍預訓練有幫助的最明確證據,來自一台真實的 ALOHA 機器人。它有兩隻手臂、平行夾爪和三台攝影機,由另一個模型驅動:這個模型以 Qwen-VLA-Base 為起點,用 ALOHA 的示範資料微調而成。在六類任務中,它的平均成功率為 83.6%;同樣架構但從頭訓練的版本為 48.5%,π0.5 為 71.6%,而 π0.5 在摺毛巾上表現較好。在分布外(out-of-distribution)條件下,也就是顏色、物體、位置、背景或光線,以及指令都是訓練時沒見過的,它達到 76.9%,π0.5 為 41.5%,從頭訓練的版本為 36.2%。不過這只是單一平台,而且是與統一檢查點不同的另一個模型。

    消融實驗(ablation,每次只改變一個要素的測試)顯示,這套訓練配方相當敏感。在 Simpler-WidowX 上,純文字暖身階段若約五分之一的資料是合成資料,分數會從 60.9 提高到 71.1;只用真實資料,分數反而降到 51.0;把暖身從 2,000 步拉長到 40,000 步,分數則掉到 60.4。加入視覺語言資料後,RoboCasa-GR1 從 51.1 提高到 56.0,RoboTwin 從 81.8 提高到 86.4。

    作者坦承,機器人動作資料仍遠比圖文資料稀少、多樣性也較低,這限制了模型面對少見物體、環境、機器人身體和需要大量接觸的任務時的穩健性。把所有資料放在一起訓練也有取捨:以動作為主的訓練,可能讓部分純視覺語言和導航成績略為退步。此外,多數評估都是短時程、以基準測試為主,因此在真實世界長時間、容易出錯的部署中表現如何,仍有待檢驗。

    論文
    Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments
    作者
    Qiuyue Wang, Mingsheng Li, Jian Guan, Jinhui Ye, Sicheng Xie, Yitao Liu, Junhao Chen, Zhixuan Liang, Jie Zhang, Xintong Hu, Xuhong Huang, Pei Lin et al.
    刊登
    arXiv 預印本(未經同儕審查) · 2026年5月28日
    連結
    arxiv.org/abs/2605.30280
    英文版
    Qwen trains one robot model to grasp, navigate and drive different bodies

    中文版報導

    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · 果蠅求偶

    食物氣味加上群體動態,開啟一種果蠅的求偶行為

    2026 年一項 Nature 研究發現,Drosophila erecta 果蠅的雄蠅會被食物氣味引發性興奮,群體動態再加以放大;少了這樣的環境,就不會交配。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 串流影片生成

    用獎勵分數告訴快速影片模型該把訓練重點放在哪裡

    Stream-R1 依獎勵模型的評分,為每段訓練影片、每個影格和區域加權,在相同速度下於基準測試小幅勝過直接對照的基準方法。

    arXiv 預印本 · 2026年5月5日

    Photo: Pascal Bernardon

    Far Field · 黑洞純量雲

    偏心軌道放大輕粒子雲在黑洞訊號上留下的痕跡

    發表在 Physical Review Letters 的計算發現,偏心旋近在最內側軌道附近出現共振,會加強純量雲在重力波上留下的痕跡。

    Physical Review Letters · 2026年10月20日