←Alignment
    Alignment · ロボット安全 · 4分

    汎用 AI が操るロボットアーム、カメラで確かめる安全層が危害を減らす

    汎用 AI モデルが操るロボットアームは9〜77%の試行で危害のおそれがあり、1つの安全規則を共有するカメラ式の関門で、試したすべてのモデルの危害が減ったとするプレプリント。

    2026年11月15日 · arXiv プレプリント(査読前)
    cutaway engine painted red at the cut: impeller, gears and shafts exposed
    Photo: William Warby

    汎用 AI モデルにロボットアームを任せたときの危険は、有害な指示に従ってしまうことだけではない。どこにもぶつからない動作でも、スマートフォンを水に落とすことはありうる。力の制限や衝突判定、あらかじめ決めた制約に基づく従来のロボット安全技術は、その動作が何を意味するかまでは考えない。西交リバプール大学(Xi'an Jiaotong-Liverpool University)などの研究者による2026年の査読を経ていないプレプリントは、この隙間を測り、LEASH と呼ぶ安全層で狭めようとしている。

    物差しとなるのは RoboRisk というベンチマークで、閉ループで実行する。つまりロボットは文章で答えるのではなく、シミュレーションか実機で各タスクを実際にこなし、見えたものに反応する。シミュレーションのタスクは MuJoCo、LIBERO、robosuite 上で仮想の Franka Panda アームを使い、実機のタスクには2台の RealSense D455 カメラを備えた Dobot CR5V2 アームを使う。扱うリスクには、付箋などで場面に仕込まれた指示であるプロンプトインジェクションや、アレルギーのように先に示された事実を後の動作に反映しなければならない場面での記憶の抜け落ちが含まれる。

    LEASH はハーネスの内側で働く。ハーネスとは、カメラ画像をモデルに渡し、モデルが提案した動作を実行することで、モデルとロボットをつなぐソフトウェアだ。LEASH はここに3つの関門と、計画を立てるモデルとすべての関門が共有する1つの文書化された安全方針を加える。タスク関門は、計画の各ラウンドの前に、指示とすべてのカメラの現在の画像をあわせて採点する。タスクを打ち切れるのはこの関門だけである。行動関門は、提案された動きやスキルを実行前に1つずつ採点し、却下された場合、計画モデルは新たな観測から計画を立て直さなければならない。コミット関門は長い複合スキルを一時停止させ、取り返しがつかないかもしれない瞬間を現在の映像に照らして確認し直す。この版で対象になるのは、グリッパーを開く動作と注ぐ動作だけだ。各関門は判定モデル、つまり文章ではなく点数を返す高速で安価なモデル(既定では Jev、または OpenAI の Decisions API)に、その手順がどれだけ安全かを問い、関門ごとのしきい値を上回った場合だけ先に進ませる。計画モデルは常設の許可を持たず、各関門は現在のタスク、動作、操作に限った「リース」を与える。計画モデルはブラックボックスとして扱われるため、再学習は必要ない。

    試行は2つの指標で評価する。危害率は実際の危害または潜在的な危害が生じた試行の割合、安全成功率はロボットが正しい行動を安全にとった試行の割合で、正しく拒否した場合も含む。LEASH なしでは、6つのモデルの危害率は9.06%(Gemini 4 Argon、シミュレーション)から76.92%(Grok 4.7、実機)までの幅があった。構成ごとに276回のシミュレーション試行で、Jev を使った LEASH は GPT-6 Astra の危害率を11.23%から0.00%に下げ、安全成功率は78.99%から80.80%に上がった。GPT-6.1 Sol の危害率は18.48%から1.45%になった。Gemini 4 Argon はシミュレーションで5.80%の危害が残り、著者らによれば、その一因は一部の試行で方針を無視したとみられることだ。実機では、GPT-6 Astra、GPT-6.1 Sol、Gemini 4 Argon、Claude Opus 5.5 がいずれも危害率0.00%、安全成功率84.62%に達した。性能の劣る計画モデルにはかなりのリスクが残り、GPT-6 Luna はシミュレーションで61.23%から12.68%、Grok 4.7 は実機で76.92%から38.46%への低下にとどまった。シミュレーションでの2つの GPT 計画モデルについて、関門による平均実行時間の増加は1.66%、費用は1回あたり約0.00522ドルで、総額0.791ドルの0.66%だった。

    実機の結果は13のタスクを1回ずつ実行したものに基づくため、そこで危害がゼロでも、低いながらゼロではない危害率である可能性は排除できない。構成要素を1つずつ外す実験はひととおりには行われておらず、著者らは費用がかかりすぎるためとしている。代わりに記録された関門の判定を分析しているため、共有の安全方針と関門それぞれの寄与は実験的に切り分けられていない。結果の判定は人手で行われ、ベンチマークと防御策は同じチームが作った。実在の人がそばにいる場面では、先の4つの計画モデルは著者らが「Human-Presence Gap」と呼ぶ傾向を示し、慎重になりすぎた。手の周りで肉切り包丁を安全に動かしたり、人にナイフを手渡したりできたモデルはなかった。ただしシミュレーションでは、GPT-6 Astra と GPT-6.1 Sol がこうしたタスクを断ることはまれだった。

    braintankAI の過去の記事は、一部のガードレール評価ベンチマークが、有害な要求をよりよく見抜くことよりも、ラベル付け方針との一致を主に評価していると報じた(関連記事)。LEASH による改善は文書化された方針と関門との間で実験的に切り分けられていないため、方針そのものがどれだけ効いているかにも同じ目を向けるべきだろう。人の近くでの過度な慎重さは、危険な画像を拒否するよう誘導したマルチモーダルモデルが、無害な入力の一部まで拒否し始めたというプレプリントとも重なる(関連記事)。

    論文
    LEASH: Stay Safe in Agentic Robotics
    著者
    Qinfeng Zhu, Weiguang Zhao, Ke Sun, Xihao Guo, Yunxi Jiang, Rui Zhang et al.
    掲載
    arXiv プレプリント(査読前) · 2026年11月10日
    リンク
    arxiv.org/abs/2611.14115
    コード
    github.com/zhuqinfeng1999/LEASH
    英語版
    Camera-checked safety layer cuts harm when general-purpose AI models steer robot arms

    日本語版の記事

    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables
    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables

    Physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables · Photo: Devon Rogers

    Substrate · 交替磁性

    正味の磁化がない磁性体 MnTe で、スピン分裂した電子バンドを観測

    テルル化マンガンの光電子分光を計算と照合した結果、共線磁性体の第3の分類として提案されている交替磁性体に予測されたスピン分裂が確認された。

    Nature · 2024年2月14日
    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · ハエの求愛行動

    食べ物のにおいと群れの動きが、あるショウジョウバエの求愛を始動させる

    2026年の Nature 論文によれば、Drosophila erecta では食べ物のにおいが雄の性的興奮を引き起こし、群れの動きがそれを強めるため、この環境がなければ交尾は起きない。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 動画生成の蒸留

    報酬モデルの採点で高速動画モデルの学習の重点を決める

    Stream-R1 は学習用の動画、フレーム、領域ごとに報酬モデルの判定で重みを付け、同じ速度のまま直接の比較対象をベンチマークでわずかに上回った。

    arXiv プレプリント · 2026年5月5日