Qwen-Drive 不改架構,為 4B VLM 外加 3D 感知與路徑規劃
Qwen 研究人員以一個參數量 4B 的視覺語言模型為基礎,讓它能建立 3D 場景地圖、回答駕駛問題並規劃路徑,在各項基準測試上表現有好有壞。

視覺語言模型(VLM)是一種能接收影像與文字、再以文字回覆的 AI 系統。過去幾年,研究人員一直嘗試把這類模型變成自動駕駛軟體,常見的目標是視覺語言動作模型(VLA):把同一個系統再加以延伸,讓它也能輸出動作,例如車子該走的路徑。來自 Qwen 與華中科技大學的團隊,在一篇 2026 年、尚未經同儕審查的預印本中介紹了 Qwen-Drive-1.0。它以既有的 VLM Qwen3.5-4B(參數量 4B)為起點,完全不動其內部架構,另外加上兩個外部模組:一個從攝影機影像建立車輛周遭的 3D 地圖,另一個畫出未來的行車路徑。結果是單一模型就能處理 3D 感知、回答駕駛場景的問題,並規劃車輛的運動。
打造駕駛用 VLA 的常見做法,主要是用駕駛相關的問題與文字答案來訓練通用模型,作者指出這種做法有兩個弱點。第一,文字答案幾乎無法表達精確的深度、距離,或空間中哪些位置被佔據。因此模型可能把場景描述得頭頭是道,物體位置卻放得不準,而且沒有人能直接量出這種誤差。第二,過度專門化有發生災難性遺忘的風險,也就是針對新專長訓練之後,模型原本具備的能力被抹去。作者認為,廣泛的通用知識對處理罕見、不尋常的路況很重要。他們也提到一個實務上的動機:在他們所說的「座艙與駕駛整合」中,車內助理與駕駛系統共用一台電腦,因此一個模型可能既要能對話,也要能稱職地開車。
運作方式
基礎 VLM 把攝影機影像當成一般輸入,並以純文字標籤加以標註。例如標示前方視角的標籤,會告訴模型這張影像朝向 8 個方向中的哪一個;畫格標籤則標示影像來自哪個時間點。VLM 的架構沒有更動,3D 資訊來自外接的感知頭(perception head)。作者稱之為感知探針:一個讀取模型內部特徵的附加元件,讓人看得出這些特徵含有多少 3D 結構。它接收 6 或 8 張環景影像,利用一個推測影像各部分距離多遠的深度網路,把視覺編碼器的特徵提升到由小立方體組成的 3D 網格中,這些小立方體稱為體素(voxel)。這個深度網路在學習時,並沒有拿到任何真實的深度資料。感知頭也會取用 VLM 自己處理過的影像特徵,把它們擴展成多種尺度。接著由一個 Transformer 把兩股資訊融合成鳥瞰圖(BEV),也就是車輛周遭區域的俯視地圖。
三個分支共用這張地圖。一個偵測並定位車輛、行人等 3D 物體;一個預測語意佔用,也就是把每個體素標記為空、可行駛路面、車輛、行人等類別;一個負責分割道路地圖。另外,由一個 Planning Expert(規劃專家)負責產生行車路徑。它採用 flow matching(流匹配)技術,從隨機雜訊出發逐步修正,在這裡分 10 步,修正成車輛未來的軌跡。每一步都以主模型已經算好的場景資訊來引導。
訓練分成四個階段。第一階段,只有感知頭在凍結的 VLM 之上學習。第二階段,感知頭、視覺編碼器和 VLM 一起訓練,使用感知標註,再加上駕駛與通用問答資料;這個階段感知頭的學習率是 VLM 的 20 倍,讓新模組調適得更快。第三階段凍結 VLM,只讓 Planning Expert 從記錄下來的軌跡學習。部分訓練提示還附上了該駕駛動作的文字理由,得到的模型稱為 Qwen-Drive-1.0-SFT。第四階段以強化學習(透過獎勵好的結果來改進系統的方法)只微調 Planning Expert,得到 Qwen-Drive-1.0-RL。
強化學習這一步需要規劃器嘗試各種不同的路徑,因此作者加入少量隨機性,但只放在 10 個修正步驟中的最後 3 步。他們還把這種隨機性限制在平滑、低頻的形狀上,讓各個替代方案的差別在於駕駛動作本身,而不是抖動般的晃動。獎勵來自各資料集本身的駕駛評分,再加上一個共通項目:與人類駕駛的實際路徑保持接近。團隊把 nuScenes 與 OpenScene 兩個資料集的感知標註合併成一套共通類別,包括 7 種物體類別、10 種佔用類別和 6 種地圖類別。他們也從 24 個公開的駕駛問答資料集中,把 553 萬筆樣本篩選到 309 萬筆,並使用來自公開來源的 283 萬筆規劃樣本。
證據顯示了什麼
在 3D 感知方面,作者在 nuScenes 上把自己的模型與幾種成熟的純攝影機方法比較。這些基準方法由團隊自己在統一標註下重新訓練,其中也包括使用同一個以 Qwen 初始化的影像編碼器的版本。Qwen-Drive 的 mAP 為 43.95(mAP 是衡量物體偵測與定位準確度的標準指標),比最佳基準方法高約 2 分。它在地圖分割的重疊度上達到 60.99,領先 3.37 分。一個頗有參考價值的結果,是只在凍結 VLM 上訓練感知頭的版本:它的 mAP 比最強的基準方法低 6.34。作者把這解讀為證據,顯示未經修改的 VLM 特徵並不會直接呈現足夠的 3D 結構,必須進行聯合訓練。同一個模型也能用在 OpenScene 的 8 鏡頭配置上,而用來比較的方法無法在這種配置上評估。
在駕駛問答與空間推理方面,模型在所用基準測試上的平均分數為 69.43,未經改動的 Qwen3.5-4B 為 63.52,次佳的 MiMo-Embodied-7B 為 60.32。在 Ego3D-Bench 上,它估計距離的誤差比基礎模型低約 41%,不過它在這項基準上的準確率略低。差距最大的是因果鏈(chain-of-causation)問題,這類題目要求模型指出場景中哪些事物導致了某個駕駛決策。Qwen-Drive 的因果平均分數為 58.30,第二名的 Gemma4-12B 為 22.05。作者表示,模型的通用視覺語言能力在知識、推理和辨識方面,與基礎模型的差距都在約 1 分以內,在空間理解與定位(grounding)方面則有所提升。
規劃能力在四種逐步貼近真實的情境下測試。開迴路測試是預測一條路徑,再與人類駕駛實際的做法比較。在 Waymo 的端到端基準測試 WOD-E2E 上,強化學習版本的 Rater Feedback Score 達到 7.91,最強對手 MindVLA-U1 為 7.87。這項分數是把規劃結果與多條經人類評為可接受的路徑相比。NAVSIM 進行的是偽閉迴路測試:規劃出的路徑模擬一次,其他車流則重播原本的紀錄。模型在這裡的 PDMS 為 90.7,PDMS 是涵蓋碰撞、維持在道路上、行進進度、碰撞前時間和舒適度的綜合分數;ExploreVLA 與 EponaV2 都是 90.4。在以模仿方式訓練的模型中加入文字推理後,NAVSIM 分數提高 0.4。
證據沒有顯示的
3D 感知的說法主要適用於物體偵測和地圖。在 nuScenes 的語意佔用上,作者自己的多任務基準方法明顯較好,mIoU 為 25.72,Qwen-Drive 則是 19.82。感知基準方法由團隊自行重現,只用 nuScenes 訓練,而且僅限單一畫格。偵測是在重新對應過的標註上、以修改過的分數評分,因此這些數字無法與公開排行榜比較。在第二個規劃資料集 PAI-AV 上,模型在 3 秒時的平均路徑誤差為 0.42 公尺,NVIDIA 的 Alpamayo-1.5 則是 0.36,後者使用的駕駛訓練資料多得多。強化學習讓 PAI-AV 上的誤差略為變差。模型產生的 6 條候選路徑,也都緊密聚集在相似的動作周圍。
最嚴苛的測試是閉迴路模擬,模型在其中持續駕駛,錯誤會不斷累積。在 AlpaSim 模擬器的 916 個情境中,強化學習把駛出道路的比率從 24% 減半到 12%,但也讓行進進度從 54% 降到 48%。在近距離交會、行進進度和整體分數上,模型都落後規模約為它兩倍的 Alpamayo-R1。幾項主要的領先幅度都非常小:WOD-E2E 上是 0.04,NAVSIM 上是 0.3。論文報告的一個 NAVSIM 數字 91.4,是在每個場景中從 6 個規劃裡挑出 PDMS 本身分數最高的那一個。作者也指出,WOD-E2E 驗證集上勝過人類駕駛參考值的結果屬於樣本內結果,因為訓練用的獎勵正是來自這個資料切分。
因果推理上的大幅領先,來自作者自建的基準測試,其來源與格式都和他們自己的訓練資料相同。這項基準由 Qwen 系列的模型評分,LingoQA 也是如此。作者也表示,模型規劃出的路徑不一定遵循它寫出的理由。當不同距離的成因同時存在時,例如前方的紅燈與近得多的一名小孩,它的推理可能抓不到眼下哪一個才重要。推理帶來的規劃改善,可能有一部分來自生成文字額外提供的內部資訊,而非推理本身。他們自己的資料消融實驗發現,3D 監督對規劃只造成很小的差異。他們表示,這並不能確立 3D 訓練就是改善的來源。
研究定位
作者把這項研究放在自動駕駛從模組化流程轉向 UniAD 這類統一學習系統的趨勢中;模組化流程是指在各自獨立的感知、預測與規劃系統之間傳遞結果。在 VLA 模型中,他們拿它和主要靠駕駛問答文字來調整 VLM 的做法對照,例如 DriveLM、DriveGPT4 和 OmniDrive。他們也拿它和 UniDriveVLA 這類設計對比,後者把感知、理解與規劃拆成各自獨立、只用駕駛資料訓練的專家模組。他們提出的替代方案則讓語言模型保持完整,把以深度為基礎的特徵提升、以 Transformer 為基礎的 BEV 融合和偵測解碼器等成熟元件,當作外部模組重新利用,並重新混入通用資料,以保護既有能力。
他們寫出的規劃理由,借用了 Alpamayo-R1 的因果鏈概念。而 Alpamayo-R1 和它的後繼者 Alpamayo-1.5,也正是 Qwen-Drive 在多項規劃測試中落後的模型。作者表示,就他們所知,這是第一個在單一預訓練 VLM 中統一 3D 感知、問答與規劃的駕駛基礎模型。若只看論文本身的證據,它顯示這類模組可以接到參數量 4B 的模型上,而不會大幅損失通用能力。所得到的系統在數項規劃基準上具競爭力,不過它聲稱的領先,最好逐項基準分開來看。
- 論文
- Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving
- 作者
- Xin Zhou, Zongchuang Zhao, Zhibo Yang, Mingsheng Li, Humen Zhong, Shuai Bai, Du Chu, Ruizhe Chen, Zhaohai Li, Jun Tang, Qiuyue Wang, Mingkun Yang et al.
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年8月31日
- 連結
- arxiv.org/abs/2609.00111
- 程式碼
- github.com/QwenLM/Qwen-Drive-1.0
- 英文版
- Qwen-Drive adds 3D perception and a planner to a 4B VLM, keeping its architecture


