以鏡頭查核的安全層,降低通用 AI 模型操控機械手臂的危害
一篇預印本發現,通用 AI 模型操控機械手臂時,有 9% 到 77% 的執行可能造成危害;以鏡頭畫面為依據、共用同一套安全規則的檢查點,讓每個受測模型的危害都下降。

讓通用 AI 模型掌控機械手臂,風險不只是它會照著有害的要求去做。一個動作可以避開所有碰撞,卻還是把手機掉進水裡。傳統的機器人安全建立在力量限制、碰撞檢查和事先設定的約束上,並不會去推敲一個動作代表什麼意義。西交利物浦大學等機構的研究人員在 2026 年發表一篇尚未經同儕審查的預印本,測量了這道缺口,並嘗試用一個名為 LEASH 的安全層把它縮小。
衡量的標準是 RoboRisk,一個以閉環方式執行的基準測試:機器人實際在模擬環境或實體硬體上執行每項任務,並對看到的情況做出反應,而不是用文字作答。模擬任務在 MuJoCo、LIBERO 和 robosuite 中進行,使用虛擬的 Franka Panda 手臂;實體任務則使用一支 Dobot CR5V2 手臂,搭配兩台 RealSense D455 攝影機。測試涵蓋的風險包括提示注入(prompt injection),也就是安插在場景裡的指令,例如寫在一張便條上;以及記憶疏失,也就是先前得知的事實(例如過敏)必須影響後續的動作。
LEASH 在 harness 內運作。harness 是把模型和機器人連起來的軟體,負責把攝影機影像傳給模型,並執行模型提出的動作。LEASH 加入三個檢查點,以及一份由規劃模型和每個檢查點共用的書面安全政策。任務閘門在每一輪規劃之前,把指令連同每台攝影機當下的畫面一起評分,也是唯一能終止任務的閘門。動作閘門在每個提出的動作或技能執行前評分;一旦否決,規劃模型就必須根據新的觀測重新規劃。提交閘門會讓較長的複合技能暫停,對照當下的畫面,重新檢查可能無法挽回的時刻;在這個版本中只涵蓋打開夾爪和傾倒兩種操作。每個閘門都會詢問一個決策模型這一步有多安全;決策模型是回傳分數而非文字的快速、低成本模型(預設為 Jev,或 OpenAI 的 Decisions API),只有分數高於該閘門專屬的門檻才放行。規劃模型沒有常設的權限:每個閘門只針對當下的任務、動作或操作授予一份「租約」。規劃模型被當成黑盒子,不需要重新訓練。
執行結果以危害率和安全成功率評分。危害率是出現實際或潛在危害的執行所占比例;安全成功率是機器人安全地做對事情的比例,包括正確地拒絕。沒有 LEASH 時,六個模型的危害率從 9.06%(Gemini 4 Argon,模擬)到 76.92%(Grok 4.7,實體機器人)不等。在每種配置各 276 次的模擬執行中,搭配 Jev 的 LEASH 讓 GPT-6 Astra 的危害率從 11.23% 降到 0.00%,安全成功率則從 78.99% 升到 80.80%;GPT-6.1 Sol 的危害率從 18.48% 降到 1.45%。作者表示,Gemini 4 Argon 在模擬中仍有 5.80% 的殘餘危害,部分原因是它在某些執行中似乎沒有理會安全政策。在實體機器人上,GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon 和 Claude Opus 5.5 的危害率都降到 0.00%,安全成功率都是 84.62%。能力較弱的規劃模型仍有相當的風險:GPT-6 Luna 在模擬中從 61.23% 降到 12.68%,Grok 4.7 在硬體上從 76.92% 降到 38.46%。以兩個 GPT 規劃模型在模擬中的情況來看,閘門讓平均執行時間增加 1.66%,每次執行約花費 0.00522 美元,占總成本 0.791 美元的 0.66%。
實體結果建立在 13 項任務、每項只執行一次的基礎上,因此零危害並不能排除存在偏低但不為零的危害率。研究也沒有逐一移除各個元件的完整實驗,作者表示這樣做成本太高;他們改為分析記錄下來的閘門決策,因此共用政策與閘門各自的貢獻,並沒有用實驗區分開來。結果由人工判定,而且基準測試和防禦機制出自同一個團隊。在真人附近,上述四個規劃模型出現作者所稱的「人類在場落差」(Human-Presence Gap),變得過度謹慎:沒有一個能安全地拿著剁刀繞過一隻手移動,或把刀遞給人;不過在模擬中,GPT-6 Astra 和 GPT-6.1 Sol 很少拒絕這類任務。
braintankAI 先前的報導指出,部分防護機制(guardrail)基準測試主要獎勵的是與標註政策一致,而不是更能偵測出有害請求(相關報導)。由於 LEASH 帶來的改善沒有在實驗上拆分成書面政策和閘門各自的作用,政策本身的分量也值得同樣仔細檢視。在人旁邊過度謹慎的現象,也呼應另一篇預印本的發現:被引導去拒絕不安全影像的多模態模型,開始連一些無害的輸入也一併拒絕(相關報導)。
- 論文
- LEASH: Stay Safe in Agentic Robotics
- 作者
- Qinfeng Zhu, Weiguang Zhao, Ke Sun, Xihao Guo, Yunxi Jiang, Rui Zhang et al.
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年11月10日
- 連結
- arxiv.org/abs/2611.14115
- 程式碼
- github.com/zhuqinfeng1999/LEASH
- 英文版
- Camera-checked safety layer cuts harm when general-purpose AI models steer robot arms


