テキスト由来の拒否信号で、画像・動画AIが有害な入力を断る
プレプリントの研究が、有害な画像や動画のデータを一切使わずにマルチモーダルモデルを拒否へ誘導したが、無害な入力まで拒否したり精度が落ちたりするモデルもあった。

マルチモーダル大規模言語モデル(MLLM)は、視覚エンコーダーを通じて画像や動画も受け付ける言語モデルだ。その安全性はほぼ土台となる言語モデルから受け継いだもので、安全性を高める手法はふつう、有害なマルチモーダルコンテンツの例に頼っている。2026年に公開された査読を経ていないプレプリントの著者らは、そうした素材は集めるのが難しく、新しい種類の入力(モダリティ)が加わるたびに集め直さなければならないと指摘する。収集や共有には倫理的・法的な問題が生じることもあるとし、同意のない画像や児童虐待の画像を例に挙げている。Moreno D'Incà 氏、Nicu Sebe 氏、Massimiliano Mancini 氏は、テキストだけから得られる安全性の信号でその代わりが務まるかを検証した。
出発点は「拒否方向」だ。これはモデル内部の活性化空間にある1本の方向である。モデルが拒否するテキストのプロンプト(MaliciousInstruct というセットから取ったもの)に対する隠れ状態の平均から、モデルが応答するプロンプト(Alpaca から取ったもの)に対する平均を引いて求める。先行研究では、この方向を取り除くとモデルがジェイルブレイクされやすくなることが示されていた。著者らは逆に、この方向へ押して拒否を強める。これは活性化ステアリングの一種で、再学習をせずに、動作中のモデルの内部状態にベクトルを加える手法である。
予備的な試験では、テキストから得た方向でそのまま誘導するだけでも、ほとんどの層で、モデルは安全な画像より有害な画像を多く拒否するようになった。ただし、ほぼすべてを拒否してしまう層もあった。Gemma3 では、10層目で誘導すると安全な入力の96.4%が拒否された。著者らはこの原因をモダリティの不整合に求めている。画像の活性化は、画像に由来するというだけで拒否方向に傾いており、そのため無害な画像まで疑わしく見えてしまうという。
MARS と名付けられた手法は、これをいくつかの段階で補正する。まず、ランダムに色付けした「中立」画像が生む活性化の平均を差し引き、画像一般に共通する信号を取り除く。次に、補正後の活性化がどの程度拒否の側を向いているかを測る。ゲートを設け、安全側に傾いた入力には手を加えない。さらに、押す強さを自動で決める。その幅は、受け入れたテキストと拒否したテキストそれぞれのクラスタ中心のうち、近い方までの距離を超えない。著者らはこの上限を信頼領域と呼んでいる。誘導は1つの層だけに、しかも最初の出力トークンを生成する間にのみ加える。その層は、テキストだけから計算する3つのスコアで選ぶ。
主な試験は、Qwen3-VL 8B、Qwen3.5 9B、InternVL 3.5 8B、Gemma3 4B、Molmo2 8B の5つのオープンモデルを対象とした。安全な画像と有害な画像の組からなるベンチマーク ViSU では、有害な画像の拒否率が Molmo2 で0.2%から68.1%に、Qwen3-VL で14.2%から78.5%に、Gemma3 で18.2%から43.3%に上がったと著者らは報告している。安全な画像の拒否率も上がり、InternVL 3.5 で10.3%、Molmo2 で7.3%に達した。動画を使ったジェイルブレイクを集めた VideoSafetyBench では、Qwen3-VL の拒否率が28.8%から88.2%に上がった一方、InternVL 3.5 は4.7%から11.9%への上昇にとどまった。
MARS は、学習を必要としない2つの手法 ECSO、AdaSteer と、学習を伴う2つの手法 AutoSteer、SASA と比較された。著者らは SASA を上限と位置づけている。ViSU では、MARS はすべてのモデルで AutoSteer より多くの有害な画像を拒否した。それでも、学習を伴う手法が上回る場面はあった。ジェイルブレイクのベンチマーク HADES では、MARS を適用した Gemma3 が攻撃の59.2%を拒否したのに対し、AutoSteer は92.1%、SASA は100.0%だった。推論ベンチマーク MMMU のスコアは、4つのモデルでほぼ変わらなかった。しかし Qwen3.5 では50.8から38.2に、より難しい MMMUPro では35.6から24.5に下がった。論文はこれを「軽度の過剰拒否」と説明している。
著者らは、MARS が言語モデル部分に使える拒否方向があることを前提にしていると認めている。また、活性化が強い非線形のふるまいを示す場合には、1つの平均を差し引くだけでは画像の信号を取り除けない可能性があるとも述べている。主な結果では、安全な入力の拒否率は ViSU の画像についてしか報告されておらず、安全な動画は試験されていない。拒否の判定は主に「I am sorry」のような言い回しとの照合によるもので、やわらかい断り方を見逃すおそれがある。主な結果には、実行ごとのばらつきも示されていない。主な5つのモデルの規模は、最小の Gemma3 4B から最大の Qwen3.5 9B(パラメータ数90億)までで、この手法はモデル内部の活性化に直接アクセスできることを必要とする。
この結果は、文章と画像生成でパラメータを共有するモデルでは、テキストから見つけたステアリングベクトルが画像生成にも引き継がれうるとした braintankAI の記事と重なる(関連記事)。ここでは同じ転用の発想が、画像を読み取るモデルの安全性に当てはめられている。別の braintankAI の記事では、安全性ベンチマークの一部のスコアが、主にラベル付け方針との一致を反映していることがわかった(関連記事)。こうした拒否率も、それぞれのベンチマークが何を有害と定義しているかに結びついた数字として読むべき理由の一つだ。
- 論文
- Harnessing Textual Refusal Directions for Multimodal Safety
- 著者
- Moreno D'Incà, Nicu Sebe, Massimiliano Mancini
- 掲載
- arXiv プレプリント(査読前) · 2026年10月16日
- リンク
- arxiv.org/abs/2606.31876
- コード
- github.com/Moreno98/MARS
- 英語版
- Refusal signals taken from text help image and video AI models turn down harmful inputs


