←Embodied
    Embodied · 自動駕駛 · 8 分鐘

    Qwen-Drive 不改架構,為 4B VLM 外加 3D 感知與路徑規劃

    Qwen 研究人員以一個參數量 4B 的視覺語言模型為基礎,讓它能建立 3D 場景地圖、回答駕駛問題並規劃路徑,在各項基準測試上表現有好有壞。

    2026年11月17日 · arXiv 預印本(未經同儕審查)
    Boston Dynamics Spot 外形可辨, 無標誌
    Photo: Mika Baumeister

    視覺語言模型(VLM)是一種能接收影像與文字、再以文字回覆的 AI 系統。過去幾年,研究人員一直嘗試把這類模型變成自動駕駛軟體,常見的目標是視覺語言動作模型(VLA):把同一個系統再加以延伸,讓它也能輸出動作,例如車子該走的路徑。來自 Qwen 與華中科技大學的團隊,在一篇 2026 年、尚未經同儕審查的預印本中介紹了 Qwen-Drive-1.0。它以既有的 VLM Qwen3.5-4B(參數量 4B)為起點,完全不動其內部架構,另外加上兩個外部模組:一個從攝影機影像建立車輛周遭的 3D 地圖,另一個畫出未來的行車路徑。結果是單一模型就能處理 3D 感知、回答駕駛場景的問題,並規劃車輛的運動。

    打造駕駛用 VLA 的常見做法,主要是用駕駛相關的問題與文字答案來訓練通用模型,作者指出這種做法有兩個弱點。第一,文字答案幾乎無法表達精確的深度、距離,或空間中哪些位置被佔據。因此模型可能把場景描述得頭頭是道,物體位置卻放得不準,而且沒有人能直接量出這種誤差。第二,過度專門化有發生災難性遺忘的風險,也就是針對新專長訓練之後,模型原本具備的能力被抹去。作者認為,廣泛的通用知識對處理罕見、不尋常的路況很重要。他們也提到一個實務上的動機:在他們所說的「座艙與駕駛整合」中,車內助理與駕駛系統共用一台電腦,因此一個模型可能既要能對話,也要能稱職地開車。

    運作方式

    基礎 VLM 把攝影機影像當成一般輸入,並以純文字標籤加以標註。例如標示前方視角的標籤,會告訴模型這張影像朝向 8 個方向中的哪一個;畫格標籤則標示影像來自哪個時間點。VLM 的架構沒有更動,3D 資訊來自外接的感知頭(perception head)。作者稱之為感知探針:一個讀取模型內部特徵的附加元件,讓人看得出這些特徵含有多少 3D 結構。它接收 6 或 8 張環景影像,利用一個推測影像各部分距離多遠的深度網路,把視覺編碼器的特徵提升到由小立方體組成的 3D 網格中,這些小立方體稱為體素(voxel)。這個深度網路在學習時,並沒有拿到任何真實的深度資料。感知頭也會取用 VLM 自己處理過的影像特徵,把它們擴展成多種尺度。接著由一個 Transformer 把兩股資訊融合成鳥瞰圖(BEV),也就是車輛周遭區域的俯視地圖。

    三個分支共用這張地圖。一個偵測並定位車輛、行人等 3D 物體;一個預測語意佔用,也就是把每個體素標記為空、可行駛路面、車輛、行人等類別;一個負責分割道路地圖。另外,由一個 Planning Expert(規劃專家)負責產生行車路徑。它採用 flow matching(流匹配)技術,從隨機雜訊出發逐步修正,在這裡分 10 步,修正成車輛未來的軌跡。每一步都以主模型已經算好的場景資訊來引導。

    訓練分成四個階段。第一階段,只有感知頭在凍結的 VLM 之上學習。第二階段,感知頭、視覺編碼器和 VLM 一起訓練,使用感知標註,再加上駕駛與通用問答資料;這個階段感知頭的學習率是 VLM 的 20 倍,讓新模組調適得更快。第三階段凍結 VLM,只讓 Planning Expert 從記錄下來的軌跡學習。部分訓練提示還附上了該駕駛動作的文字理由,得到的模型稱為 Qwen-Drive-1.0-SFT。第四階段以強化學習(透過獎勵好的結果來改進系統的方法)只微調 Planning Expert,得到 Qwen-Drive-1.0-RL。

    強化學習這一步需要規劃器嘗試各種不同的路徑,因此作者加入少量隨機性,但只放在 10 個修正步驟中的最後 3 步。他們還把這種隨機性限制在平滑、低頻的形狀上,讓各個替代方案的差別在於駕駛動作本身,而不是抖動般的晃動。獎勵來自各資料集本身的駕駛評分,再加上一個共通項目:與人類駕駛的實際路徑保持接近。團隊把 nuScenes 與 OpenScene 兩個資料集的感知標註合併成一套共通類別,包括 7 種物體類別、10 種佔用類別和 6 種地圖類別。他們也從 24 個公開的駕駛問答資料集中,把 553 萬筆樣本篩選到 309 萬筆,並使用來自公開來源的 283 萬筆規劃樣本。

    證據顯示了什麼

    在 3D 感知方面,作者在 nuScenes 上把自己的模型與幾種成熟的純攝影機方法比較。這些基準方法由團隊自己在統一標註下重新訓練,其中也包括使用同一個以 Qwen 初始化的影像編碼器的版本。Qwen-Drive 的 mAP 為 43.95(mAP 是衡量物體偵測與定位準確度的標準指標),比最佳基準方法高約 2 分。它在地圖分割的重疊度上達到 60.99,領先 3.37 分。一個頗有參考價值的結果,是只在凍結 VLM 上訓練感知頭的版本:它的 mAP 比最強的基準方法低 6.34。作者把這解讀為證據,顯示未經修改的 VLM 特徵並不會直接呈現足夠的 3D 結構,必須進行聯合訓練。同一個模型也能用在 OpenScene 的 8 鏡頭配置上,而用來比較的方法無法在這種配置上評估。

    在駕駛問答與空間推理方面,模型在所用基準測試上的平均分數為 69.43,未經改動的 Qwen3.5-4B 為 63.52,次佳的 MiMo-Embodied-7B 為 60.32。在 Ego3D-Bench 上,它估計距離的誤差比基礎模型低約 41%,不過它在這項基準上的準確率略低。差距最大的是因果鏈(chain-of-causation)問題,這類題目要求模型指出場景中哪些事物導致了某個駕駛決策。Qwen-Drive 的因果平均分數為 58.30,第二名的 Gemma4-12B 為 22.05。作者表示,模型的通用視覺語言能力在知識、推理和辨識方面,與基礎模型的差距都在約 1 分以內,在空間理解與定位(grounding)方面則有所提升。

    規劃能力在四種逐步貼近真實的情境下測試。開迴路測試是預測一條路徑,再與人類駕駛實際的做法比較。在 Waymo 的端到端基準測試 WOD-E2E 上,強化學習版本的 Rater Feedback Score 達到 7.91,最強對手 MindVLA-U1 為 7.87。這項分數是把規劃結果與多條經人類評為可接受的路徑相比。NAVSIM 進行的是偽閉迴路測試:規劃出的路徑模擬一次,其他車流則重播原本的紀錄。模型在這裡的 PDMS 為 90.7,PDMS 是涵蓋碰撞、維持在道路上、行進進度、碰撞前時間和舒適度的綜合分數;ExploreVLA 與 EponaV2 都是 90.4。在以模仿方式訓練的模型中加入文字推理後,NAVSIM 分數提高 0.4。

    證據沒有顯示的

    3D 感知的說法主要適用於物體偵測和地圖。在 nuScenes 的語意佔用上,作者自己的多任務基準方法明顯較好,mIoU 為 25.72,Qwen-Drive 則是 19.82。感知基準方法由團隊自行重現,只用 nuScenes 訓練,而且僅限單一畫格。偵測是在重新對應過的標註上、以修改過的分數評分,因此這些數字無法與公開排行榜比較。在第二個規劃資料集 PAI-AV 上,模型在 3 秒時的平均路徑誤差為 0.42 公尺,NVIDIA 的 Alpamayo-1.5 則是 0.36,後者使用的駕駛訓練資料多得多。強化學習讓 PAI-AV 上的誤差略為變差。模型產生的 6 條候選路徑,也都緊密聚集在相似的動作周圍。

    最嚴苛的測試是閉迴路模擬,模型在其中持續駕駛,錯誤會不斷累積。在 AlpaSim 模擬器的 916 個情境中,強化學習把駛出道路的比率從 24% 減半到 12%,但也讓行進進度從 54% 降到 48%。在近距離交會、行進進度和整體分數上,模型都落後規模約為它兩倍的 Alpamayo-R1。幾項主要的領先幅度都非常小:WOD-E2E 上是 0.04,NAVSIM 上是 0.3。論文報告的一個 NAVSIM 數字 91.4,是在每個場景中從 6 個規劃裡挑出 PDMS 本身分數最高的那一個。作者也指出,WOD-E2E 驗證集上勝過人類駕駛參考值的結果屬於樣本內結果,因為訓練用的獎勵正是來自這個資料切分。

    因果推理上的大幅領先,來自作者自建的基準測試,其來源與格式都和他們自己的訓練資料相同。這項基準由 Qwen 系列的模型評分,LingoQA 也是如此。作者也表示,模型規劃出的路徑不一定遵循它寫出的理由。當不同距離的成因同時存在時,例如前方的紅燈與近得多的一名小孩,它的推理可能抓不到眼下哪一個才重要。推理帶來的規劃改善,可能有一部分來自生成文字額外提供的內部資訊,而非推理本身。他們自己的資料消融實驗發現,3D 監督對規劃只造成很小的差異。他們表示,這並不能確立 3D 訓練就是改善的來源。

    研究定位

    作者把這項研究放在自動駕駛從模組化流程轉向 UniAD 這類統一學習系統的趨勢中;模組化流程是指在各自獨立的感知、預測與規劃系統之間傳遞結果。在 VLA 模型中,他們拿它和主要靠駕駛問答文字來調整 VLM 的做法對照,例如 DriveLM、DriveGPT4 和 OmniDrive。他們也拿它和 UniDriveVLA 這類設計對比,後者把感知、理解與規劃拆成各自獨立、只用駕駛資料訓練的專家模組。他們提出的替代方案則讓語言模型保持完整,把以深度為基礎的特徵提升、以 Transformer 為基礎的 BEV 融合和偵測解碼器等成熟元件,當作外部模組重新利用,並重新混入通用資料,以保護既有能力。

    他們寫出的規劃理由,借用了 Alpamayo-R1 的因果鏈概念。而 Alpamayo-R1 和它的後繼者 Alpamayo-1.5,也正是 Qwen-Drive 在多項規劃測試中落後的模型。作者表示,就他們所知,這是第一個在單一預訓練 VLM 中統一 3D 感知、問答與規劃的駕駛基礎模型。若只看論文本身的證據,它顯示這類模組可以接到參數量 4B 的模型上,而不會大幅損失通用能力。所得到的系統在數項規劃基準上具競爭力,不過它聲稱的領先,最好逐項基準分開來看。

    論文
    Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving
    作者
    Xin Zhou, Zongchuang Zhao, Zhibo Yang, Mingsheng Li, Humen Zhong, Shuai Bai, Du Chu, Ruizhe Chen, Zhaohai Li, Jun Tang, Qiuyue Wang, Mingkun Yang et al.
    刊登
    arXiv 預印本(未經同儕審查) · 2026年8月31日
    連結
    arxiv.org/abs/2609.00111
    程式碼
    github.com/QwenLM/Qwen-Drive-1.0
    英文版
    Qwen-Drive adds 3D perception and a planner to a 4B VLM, keeping its architecture

    中文版報導

    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables
    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables

    Physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables · Photo: Devon Rogers

    Substrate · 交錯磁體

    淨磁化幾乎為零的 MnTe,電子能帶出現自旋分裂

    對碲化錳做光電子能譜實驗並與理論計算比對,顯示出交錯磁體預期會有的自旋分裂;交錯磁體是學界提出的第三類共線磁體。

    Nature · 2024年2月14日
    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · 果蠅求偶

    食物氣味加上群體動態,開啟一種果蠅的求偶行為

    2026 年一項 Nature 研究發現,Drosophila erecta 果蠅的雄蠅會被食物氣味引發性興奮,群體動態再加以放大;少了這樣的環境,就不會交配。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 串流影片生成

    用獎勵分數告訴快速影片模型該把訓練重點放在哪裡

    Stream-R1 依獎勵模型的評分,為每段訓練影片、每個影格和區域加權,在相同速度下於基準測試小幅勝過直接對照的基準方法。

    arXiv 預印本 · 2026年5月5日