翻譯與在地化提示,揭露英文測試看不出的 AI 安全缺口
一份預印本把英文有害提示改成填空模板,擴展到最多 60 種語言,發現有些模型用英文問會拒絕,翻譯成其他語言後卻照做。

用來教大型語言模型拒絕有害請求、並檢查它們是否真的會拒絕的資料,大多以英文寫成,反映的也是英語世界關心的問題。蘇黎世聯邦理工學院(ETH Zurich)研究人員在 2026 年發表一篇尚未經同儕審查的預印本,研究獲 Swiss AI Initiative 支持,描述一種能為多種語言大量產生這類資料的方法,並把成果以名為 MSafeTemp 的語料庫公開。作者指出這類資料稀缺有四個原因:找母語人士擔任紅隊測試人員既慢又貴;人工測試很少觸及低資源語言,也就是網路上文字很少、模型因此在訓練中很少見到的語言;單純的機器翻譯不會加入在地脈絡;而經過安全訓練的模型,往往根本拒絕翻譯或撰寫有害內容。
這套流程避開最後一個障礙的做法,是從不要求模型直接處理危險的部分。生成模型 Gemma-4-31B-IT 讀取一則有害的種子提示,找出讓它變得有害的字詞,換成帶有標籤的空格,例如 <illicit_substance>(違禁物質)。剩下的是一個溫和到可以拿去翻譯的模板。評審模型 GPT-OSS-120B 會檢查模板是否有效。接著,生成模型只翻譯空格周圍的文字。第二道檢查則確認語言正確、翻譯品質,以及空格有沒有完整保留。每個模板都有一個主版本和兩個改寫版本。
空格有三種填法。第一種是一般性的有害內容。第二種是無害的填入內容,但保留聽起來有害的措辭,用來衡量過度拒絕,也就是模型錯誤地拒絕無害請求的情形。第三種是文化在地化的填入內容,取自每種語言各自的「文化卡」,上面列有當地的團體、組織、事件和機構;文化卡由 Gemma 產生,再由 Gemini Flash 3.6 驗證。測試集和訓練集依原始種子切分,因此任何測試提示的變體都不會出現在訓練資料裡。
評估集以 200 個 HarmBench 行為為起點,涵蓋 60 種語言。訓練集以 2,500 則 WildGuardMix 提示為起點,涵蓋 44 種語言,共約 1.8M 筆,另保留 500 個種子作為測試用。作者統計,填入內容中有超過 2.8M 個不同的有害實體。在一項涵蓋 11 種語言、共 600 筆判斷的人工檢查中,評分者給自然度的分數是 4.43 分(滿分 5 分),文化契合度則是 4.46 分。他們認同 91% 的有害標籤,但只認同 65% 的無害標籤。
作者測試了八個開放模型,回應由 GPT-OSS-Safeguard-120B 評分。攻擊成功率是指模型對有害提示給出不安全回答的比例。在 HarmBench 上,Olmo-3.1-32B 的攻擊成功率從英文的 0.0% 升到翻譯後的 13.7%,Apertus-70B 則從 8.5 升到 13.0。這個效應並不一致:Llama-3.3-70B 反而在英文中更常被突破,翻譯後從 13.0 降到 5.3。Qwen3.5-27B 和 GPT-OSS-20B 自始至終都不超過 1%。不過,GPT-OSS-20B 在兩組測試中也分別拒絕了 31.8% 和 45.1% 的無害提示,是所有受測模型中最高的。在地化提示通常會降低攻擊成功率,但它們觸發的失敗與翻譯不同:只在某一種提示類型出現的失敗中,約 45% 只在使用在地實體時才出現。如果每個模板只評一種填法,會漏掉約一半曾讓模型被突破的模板。
作者接著訓練了四個參數量 70 億到 80 億的模型,共五個檢查點,先做監督式微調,再做 DPO;DPO 是一種讓模型學會偏好較好答案、而非較差答案的方法。Olmo-3-7B 在 HarmBench 上的攻擊成功率從 21.5 降到 2.9,Llama-3.1-8B 從 15.9 降到 2.0。光是監督式微調,就讓 Olmo 在 HarmBench 上的過度拒絕從 2.7 升到 28.4,DPO 再把它拉回 19.8。模型能力也受到影響:Llama 的 GSM8K 數學分數從 84.0 降到 68.5,MMLU 分數從 72.0 降到 63.6。外部基準測試的結果好壞參半。經過指令微調的 Apertus-8B 和 Llama,在 PolyTox 上的結果都變差。Llama 在 OR-Bench 上的過度拒絕則從 4.6 升到 24.8。
作者承認,每個階段都仰賴大型語言模型擔任評審。改用另一個模型家族的評審進行交叉檢查,只涵蓋 5,000 則回應。人工研究每種語言只有一到兩名評分者。由於評分者認為許多無害對照組讀起來仍像有害內容,測得的過度拒絕可能高估了實際情況。有害標籤沿用自英文種子,但在地實體可能讓某個變體變得更嚴重。所有提示都是單輪對話。內部的測試組與訓練資料出自同一套流程,而 Gemma 既是生成模型,也是受測對象。論文內文也有前後不一致之處,例如文中說是七個模型,表格卻列出八個。
依賴沿用標籤這一點,呼應了 braintankAI 另一篇報導:護欄基準測試的分數,很大程度上可能只反映與某一種「不安全」定義的吻合程度(相關報導)。拒絕訓練提高過度拒絕、並犧牲準確度的模式,也出現在把拒絕訊號從文字模型延伸到圖像與影片模型的研究中(相關報導)。
- 論文
- How I Aligned Your Model: Scaling Up Multilingual Safety Training with Templates
- 作者
- Max Neuwinger, Hanna Yukhymenko, Imanol Schlag
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年10月29日
- 連結
- arxiv.org/abs/2610.40516
- 程式碼
- github.com/swiss-ai/msafetemp
- 英文版
- Translated and localised prompts expose AI safety gaps that English tests miss


