勾配の「指紋」で、無害に見えて AI の安全性を弱める学習データを探す
DatologyAI のプレプリントは、100万件近い指示データを学習信号が危険な応答にどれだけ似ているかで採点し、最も問題のある5分の1を取り除いた。

言語モデルを通常の指示データでファインチューニングすると、データに有害に見えるものが何もなくても、安全性がひそかに弱まることがある。DatologyAI の研究者らは、その原因となるデータを見つける別の方法を提案している。個々の例を読むのではなく、その例で学習したときにモデルに何が起きるかを見るというものだ。手法は SimpleLoRIF と名づけられ、2026年の arXiv プレプリントで示された。査読を経ていないプレプリントである。
この手法は、ある振る舞いの原因がどの学習例にあるかを問う「訓練データ帰属」に由来する。どの学習例にも事例ごとの勾配がある。その例で1回学習したときに、モデルの重みが動かされる方向のことだ。当たり障りのない例の勾配が、明らかに危険な応答から得た勾配と同じ方向を向いていれば、その例で学習することでモデルがそうした応答に近づく可能性がある。論文は He らによる先行研究(2024年)を引いている。勾配で選んだ無害な例100件でファインチューニングすると攻撃成功率が70%を超えたのに対し、無作為に選んだ100件では13%だった。ただし事例ごとの勾配の計算はコストが高く、勾配に基づくこれまでの安全性研究は、約100万件からなる事後学習用データセット全体よりはるかに小さなデータセットを使っていた。
SimpleLoRIF はこのコストを削る。勾配は小さな参照モデル Qwen 3 0.6B で計算する。各層の信号は固定したランダム行列で32次元に縮める。ベクトル同士の類似度をおおむね保つ、ランダム射影と呼ばれる手法だ。得られた格子状の行列はさらに1組のベクトルに集約され、各層で保存する数値は1,024個ではなく64個になる。著者らは、土台とした LoRIF 法をさらに2点単純化した。1つは曲率補正、つまりモデルの誤差が方向によってどれだけ敏感かを補う調整を省いたことだ。必要なのは例の順位だけだからだと説明している。もう1つは、誤差逆伝播を最後の4つの Transformer ブロックだけに限ったことだ。アブレーション実験では、4ブロックで検出スコア0.684を保ったまま91.53%の高速化が得られ、2ブロックでは0.65に下がった。この設定で、広く使われているオープンな指示チューニング用データセット Tulu 3 の939,343件すべてを、8基の H100 GPU で1時間1分かけて処理した。
チームはまず、創発的ミスアラインメントでこの考え方を試した。安全でないコードを書くよう訓練したモデルが、無関係な分野でも不適切にふるまい始める現象である。そうしたモデル2つについて、安全でないコード例6,000件と、それに対応させた安全なコード例6,000件を、コーディング以外の質問に対するモデル自身の不適切な回答との勾配類似度で見分けられるかを調べた。回答は Claude 5 Opus で選別し、明らかに不適切なものだけを残した。指標の ROC-AUC は、無作為に選んだ安全でない例が、無作為に選んだ安全な例より高いスコアになる確率で、0.5ならコイン投げと同じだ。Mistral ベースのモデルでは0.865に達したが、Qwen ベースのモデルでは0.604にとどまった。
次に著者らは、SafeRLHF データセットの危険な応答43,469件を、危険な振る舞いのひな形として使った。Tulu 3 のうち、これに最もよく揃う20%を取り除いて SafeTulu を作り、Qwen 3 1.7B、Llama 3.2 1B、Olmo 2 1B をそれぞれ3回ずつファインチューニングした。そのうえで、モデルに要求を受け入れさせる意味不明な接尾辞を探索する自動ジェイルブレイク手法 GCG でモデルを攻撃し、応答の判定には HarmBench の分類器を使った。攻撃成功率は Qwen で47.7%から37%に、Llama で38%から30%に、Olmo で48%から41%に下がった。Qwen 3 8B モデルが各例の内容を判定するフィルターでは、数値はほとんど動かず、47.3%、39%、46%だった。要旨にある「最大22%」は、最も効果の大きかった Qwen での相対的な減少幅である。著者らによれば、SafeTulu は無作為な除去や He らの勾配フィルターも上回り、多ターンの ActorBreaker 攻撃でも最も低い成功率を示した。MMLU Pro、GSM8K、IFEval などのベンチマークでは、多くの場合、全データで学習したモデルに近い成績を保ったという。より大きな Llama 3.1 8B モデルでの結果も報告している。
取り除かれたデータは、内容判定で選ぶものとは様子が異なる。似通った3つの数学サブセットで、LLM による判定はそれぞれ15.4%から15.6%を除いたのに対し、勾配フィルターは7.9%、19.4%、17.2%を除いた。個々のサブセットの中では、勾配フィルターはツール使用に失敗した際の Python のエラートレースバック、物語仕立ての算数、単純で直接的なコーディング課題をより多く除いていた。多言語の2つのサブセットでは、英語のデータが他の主要言語より多く除かれた。著者らは、これらの傾向を確立したものではなく示唆的なものと位置づけている。
限界ははっきりと述べられている。検証したのは一般的な安全性だけで、迎合(sycophancy)のような特定の振る舞いは対象外だ。危険な振る舞いのひな形も1種類しか使っていない。ActorBreaker 攻撃は元の手法より弱く、小さなモデルで攻撃を生成したためとみられる。また、勾配の表現はモデル間で常に転用できるわけではなかった。SafeTulu と、独自版を作るためのツールは公開されている。
ひな形が1つしかない点は重要だ。braintankAI は、一部のガードレール用ベンチマークが、主に「危険」の特定のラベル付け方針との一致を評価する形になっていると報じている(関連記事)。この研究でも、除去の基準(SafeRLHF)と安全性の判定役(HarmBench)は、それぞれ「危険」の特定の定義を体現している。
- 論文
- Follow the Gradient: Tracing Safety Degradation Back to Training Data
- 著者
- Saket Reddy, Amro Abbas, Anshuman Suri, Ari Morcos, David Schwab, Pratyush Maini et al.
- 掲載
- arXiv プレプリント(査読前) · 2026年10月27日
- リンク
- arxiv.org/abs/2610.37481
- 英語版
- Gradient fingerprints flag harmless-looking training data that weakens AI safety


