汎用 AI が操るロボットアーム、カメラで確かめる安全層が危害を減らす
汎用 AI モデルが操るロボットアームは9〜77%の試行で危害のおそれがあり、1つの安全規則を共有するカメラ式の関門で、試したすべてのモデルの危害が減ったとするプレプリント。

汎用 AI モデルにロボットアームを任せたときの危険は、有害な指示に従ってしまうことだけではない。どこにもぶつからない動作でも、スマートフォンを水に落とすことはありうる。力の制限や衝突判定、あらかじめ決めた制約に基づく従来のロボット安全技術は、その動作が何を意味するかまでは考えない。西交リバプール大学(Xi'an Jiaotong-Liverpool University)などの研究者による2026年の査読を経ていないプレプリントは、この隙間を測り、LEASH と呼ぶ安全層で狭めようとしている。
物差しとなるのは RoboRisk というベンチマークで、閉ループで実行する。つまりロボットは文章で答えるのではなく、シミュレーションか実機で各タスクを実際にこなし、見えたものに反応する。シミュレーションのタスクは MuJoCo、LIBERO、robosuite 上で仮想の Franka Panda アームを使い、実機のタスクには2台の RealSense D455 カメラを備えた Dobot CR5V2 アームを使う。扱うリスクには、付箋などで場面に仕込まれた指示であるプロンプトインジェクションや、アレルギーのように先に示された事実を後の動作に反映しなければならない場面での記憶の抜け落ちが含まれる。
LEASH はハーネスの内側で働く。ハーネスとは、カメラ画像をモデルに渡し、モデルが提案した動作を実行することで、モデルとロボットをつなぐソフトウェアだ。LEASH はここに3つの関門と、計画を立てるモデルとすべての関門が共有する1つの文書化された安全方針を加える。タスク関門は、計画の各ラウンドの前に、指示とすべてのカメラの現在の画像をあわせて採点する。タスクを打ち切れるのはこの関門だけである。行動関門は、提案された動きやスキルを実行前に1つずつ採点し、却下された場合、計画モデルは新たな観測から計画を立て直さなければならない。コミット関門は長い複合スキルを一時停止させ、取り返しがつかないかもしれない瞬間を現在の映像に照らして確認し直す。この版で対象になるのは、グリッパーを開く動作と注ぐ動作だけだ。各関門は判定モデル、つまり文章ではなく点数を返す高速で安価なモデル(既定では Jev、または OpenAI の Decisions API)に、その手順がどれだけ安全かを問い、関門ごとのしきい値を上回った場合だけ先に進ませる。計画モデルは常設の許可を持たず、各関門は現在のタスク、動作、操作に限った「リース」を与える。計画モデルはブラックボックスとして扱われるため、再学習は必要ない。
試行は2つの指標で評価する。危害率は実際の危害または潜在的な危害が生じた試行の割合、安全成功率はロボットが正しい行動を安全にとった試行の割合で、正しく拒否した場合も含む。LEASH なしでは、6つのモデルの危害率は9.06%(Gemini 4 Argon、シミュレーション)から76.92%(Grok 4.7、実機)までの幅があった。構成ごとに276回のシミュレーション試行で、Jev を使った LEASH は GPT-6 Astra の危害率を11.23%から0.00%に下げ、安全成功率は78.99%から80.80%に上がった。GPT-6.1 Sol の危害率は18.48%から1.45%になった。Gemini 4 Argon はシミュレーションで5.80%の危害が残り、著者らによれば、その一因は一部の試行で方針を無視したとみられることだ。実機では、GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon、Claude Opus 5.5 がいずれも危害率0.00%、安全成功率84.62%に達した。性能の劣る計画モデルにはかなりのリスクが残り、GPT-6 Luna はシミュレーションで61.23%から12.68%、Grok 4.7 は実機で76.92%から38.46%への低下にとどまった。シミュレーションでの2つの GPT 計画モデルについて、関門による平均実行時間の増加は1.66%、費用は1回あたり約0.00522ドルで、総額0.791ドルの0.66%だった。
実機の結果は13のタスクを1回ずつ実行したものに基づくため、そこで危害がゼロでも、低いながらゼロではない危害率である可能性は排除できない。構成要素を1つずつ外す実験はひととおりには行われておらず、著者らは費用がかかりすぎるためとしている。代わりに記録された関門の判定を分析しているため、共有の安全方針と関門それぞれの寄与は実験的に切り分けられていない。結果の判定は人手で行われ、ベンチマークと防御策は同じチームが作った。実在の人がそばにいる場面では、先の4つの計画モデルは著者らが「Human-Presence Gap」と呼ぶ傾向を示し、慎重になりすぎた。手の周りで肉切り包丁を安全に動かしたり、人にナイフを手渡したりできたモデルはなかった。ただしシミュレーションでは、GPT-6 Astra と GPT-6.1 Sol がこうしたタスクを断ることはまれだった。
braintankAI の過去の記事は、一部のガードレール評価ベンチマークが、有害な要求をよりよく見抜くことよりも、ラベル付け方針との一致を主に評価していると報じた(関連記事)。LEASH による改善は文書化された方針と関門との間で実験的に切り分けられていないため、方針そのものがどれだけ効いているかにも同じ目を向けるべきだろう。人の近くでの過度な慎重さは、危険な画像を拒否するよう誘導したマルチモーダルモデルが、無害な入力の一部まで拒否し始めたというプレプリントとも重なる(関連記事)。
- 論文
- LEASH: Stay Safe in Agentic Robotics
- 著者
- Qinfeng Zhu, Weiguang Zhao, Ke Sun, Xihao Guo, Yunxi Jiang, Rui Zhang et al.
- 掲載
- arXiv プレプリント(査読前) · 2026年11月10日
- リンク
- arxiv.org/abs/2611.14115
- コード
- github.com/zhuqinfeng1999/LEASH
- 英語版
- Camera-checked safety layer cuts harm when general-purpose AI models steer robot arms


