←Alignment
    Alignment · 訓練資料與安全 · 4 分鐘

    梯度指紋揪出看似無害、卻削弱 AI 安全性的訓練資料

    DatologyAI 的一篇預印本,依訓練訊號與不安全回答的相似程度,替將近 100 萬筆指令範例打分數,再刪掉最差的五分之一。

    2026年11月8日 · arXiv 預印本(未經同儕審查)
    人手和機械義手相握, 綠黃光, 無臉
    Photo: Yaroslav Shuraev

    用一般的指令資料微調語言模型,即使資料裡看不出任何有害內容,也可能悄悄削弱模型的安全性。DatologyAI 的研究人員提出另一種找出元兇的方法:不逐筆閱讀範例,而是看用它訓練會對模型造成什麼影響。這個名為 SimpleLoRIF 的方法,發表在 2026 年 arXiv 上一篇尚未經同儕審查的預印本。

    這個做法源自訓練資料歸因(training data attribution),也就是追問哪些訓練範例造成了某種行為。每個範例都有自己的單一範例梯度(per-example gradient),也就是用它訓練一步時,模型權重會被推往的方向。如果一個平淡無奇的範例,梯度方向跟明顯不安全的回答所產生的梯度一致,用它訓練就可能把模型推向那些回答。論文引用 He 等人(2024)先前的研究:用 100 筆以梯度挑選的無害範例微調,攻擊成功率升到 70% 以上,隨機挑選的 100 筆則是 13%。但單一範例梯度的計算成本很高,先前以梯度為基礎的安全研究,用的資料集也比完整的後訓練資料集(約 100 萬筆)小得多。

    SimpleLoRIF 壓低了這項成本。梯度是在一個小型參考模型 Qwen 3 0.6B 上計算。每一層的訊號都用固定的隨機矩陣壓縮到 32 維,這種隨機投影大致能保留向量之間的相似程度。得到的矩陣再化約成一對向量,因此每一層只需儲存 64 個數字,而不是 1,024 個。作者對所依據的 LoRIF 方法又做了兩項簡化。一是拿掉曲率修正,也就是針對模型誤差在不同方向上的敏感程度所做的調整;他們的理由是,真正重要的只有範例的排名。二是只對最後四個 Transformer 區塊做反向傳播。在他們的消融實驗中,用四個區塊時偵測分數維持在 0.684,速度提升 91.53%;只用兩個區塊則降到 0.65。以這樣的設定,Tulu 3(一個廣泛使用的開放指令微調資料集)的全部 939,343 筆範例,在 8 張 H100 GPU 上花了 1 小時 1 分鐘處理完畢。

    研究團隊先在湧現失準(emergent misalignment)上測試這個想法。這是指模型被訓練去寫不安全的程式碼之後,在無關的領域也開始行為失當。針對兩個這樣的模型,他們檢驗能否靠梯度相似度,區分 6,000 筆不安全的程式碼範例與 6,000 筆配對的安全範例;比對的對象,是模型自己對非程式問題給出的失準回答,這些回答先經 Claude 5 Opus 篩選,只留下明顯失準的。衡量指標 ROC-AUC 是隨機挑一筆不安全範例、分數高過隨機一筆安全範例的機率,0.5 等於擲硬幣。以 Mistral 為基礎的模型達到 0.865,以 Qwen 為基礎的模型則只有 0.604。

    接著,作者以 SafeRLHF 資料集中的 43,469 筆不安全回答,作為不安全行為的範本。他們從 Tulu 3 移除與範本最一致的 20%,做成 SafeTulu,再用它微調 Qwen 3 1.7B、Llama 3.2 1B 和 Olmo 2 1B,各跑三次。之後用 GCG 攻擊這些模型,並由 HarmBench 分類器判定回覆。GCG 是一種自動化越獄手法,會搜尋一段看似亂碼的後綴,讓模型乖乖照做。攻擊成功率方面,Qwen 從 47.7% 降到 37%,Llama 從 38% 降到 30%,Olmo 從 48% 降到 41%。另一種由 Qwen 3 8B 模型擔任評審、判斷每筆範例內容的過濾方式,數字幾乎沒變,分別是 47.3%、39% 和 46%。摘要中「最多降低 22%」,指的是最佳情況 Qwen 的相對降幅。作者表示,SafeTulu 也勝過隨機移除和 He 等人的梯度過濾法,在 ActorBreaker 多輪攻擊下的成功率最低,而且在 MMLU Pro、GSM8K、IFEval 等基準測試上,通常與用完整資料訓練的模型相差不遠。他們也報告了較大的 Llama 3.1 8B 模型的結果。

    被移除的資料,跟內容評審會挑出的不太一樣。在三個相似的數學子集中,LLM 評審各移除了 15.4% 到 15.6%,梯度過濾則分別移除 7.9%、19.4% 和 17.2%。在特定子集裡,梯度過濾比較常移除工具呼叫失敗時產生的 Python 錯誤回溯(traceback)、以敘事包裝的算術題,以及簡單直接的程式任務。在兩個多語言子集中,英文被移除的比例高於其他主要語言。作者稱這些模式只是提示性的,尚未確立。

    論文清楚交代了限制。研究只測試了整體安全性,沒有測試諂媚(sycophancy)這類特定行為。不安全行為的範本只用了一種。ActorBreaker 攻擊比原始方法弱,可能是因為改用較小的模型來產生攻擊。此外,梯度表示並不總能在不同模型之間通用。SafeTulu 和一套用來建立自訂版本的工具已經公開釋出。

    只用單一範本這一點很關鍵。braintankAI 曾報導,有些護欄基準測試在很大程度上,獎勵的是與某一套「不安全」標註政策一致的程度(相關報導)。在這項研究裡,過濾的目標(SafeRLHF)和安全評判(HarmBench),各自代表了一種特定的「不安全」定義。

    論文
    Follow the Gradient: Tracing Safety Degradation Back to Training Data
    作者
    Saket Reddy, Amro Abbas, Anshuman Suri, Ari Morcos, David Schwab, Pratyush Maini et al.
    刊登
    arXiv 預印本(未經同儕審查) · 2026年10月27日
    連結
    arxiv.org/abs/2610.37481
    英文版
    Gradient fingerprints flag harmless-looking training data that weakens AI safety

    中文版報導

    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · 果蠅求偶

    食物氣味加上群體動態,開啟一種果蠅的求偶行為

    2026 年一項 Nature 研究發現,Drosophila erecta 果蠅的雄蠅會被食物氣味引發性興奮,群體動態再加以放大;少了這樣的環境,就不會交配。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 串流影片生成

    用獎勵分數告訴快速影片模型該把訓練重點放在哪裡

    Stream-R1 依獎勵模型的評分,為每段訓練影片、每個影格和區域加權,在相同速度下於基準測試小幅勝過直接對照的基準方法。

    arXiv 預印本 · 2026年5月5日

    Photo: Pascal Bernardon

    Far Field · 黑洞純量雲

    偏心軌道放大輕粒子雲在黑洞訊號上留下的痕跡

    發表在 Physical Review Letters 的計算發現,偏心旋近在最內側軌道附近出現共振,會加強純量雲在重力波上留下的痕跡。

    Physical Review Letters · 2026年10月20日