ASIA
    ←Alignment
    Alignment · AIの概念忘却 · 4分
    BEIJING · Chinese Academy of Sciences

    AI が描く絵から概念を消しても、写真では名前を答えることが多い

    画像の生成と理解を1つでこなすモデルでは片側だけの忘却では足りないとプレプリントが報告し、品質と引き換えにはるかに多く忘れさせる2段階の編集を提案した。

    2026年11月17日 · arXiv プレプリント(査読前)
    Photo: Xu Haiwei

    AI システムの中には、テキストから絵を描くことと、見せられた画像について質問に答えることの両方を、1つのモデルでこなすものがある。こうしたモデルは統合マルチモーダルモデルと呼ばれる。このようなモデルの持ち主が、ランドマークやキャラクターなど特定の概念を忘れさせたいと考えたとする。描画の側からその概念を消しても、モデルはそれをおおむね見分けられるままかもしれない。中国科学院自動化研究所などの研究者による2026年の、査読を経ていないプレプリントは、この点を検証し、実際にそうなると報告している。著者らは、両方の側を編集する手法も提案している。

    問題を測るため、著者らは UUBench というテストを作った。対象となる概念は30で、キャラクター、ランドマーク、日用品が10ずつだ。各対象には、編集後も残っていなければならない似た「近傍」概念が2つずつ組み合わされ、近傍は計60になる。論文が挙げる例では、エッフェル塔を消しても東京タワーは損なわれずに残らなければならない。各概念には参照画像が8枚ある。3枚を編集に使い、5枚はテスト用に取り置く。ある事例が「同時忘却」と数えられるのは、名前で指示されても対象を描かず、かつ取り置いた写真を見せて何かと問われても名前を出さなかった場合に限られる。回答を拒否したりはぐらかしたりしても、忘却とは数えない。モデルは「塔」のような正しい一般的なカテゴリーを答えなければならない。より厳しいスコアでは、画像の質が良いこと、ほかの回答に名前が漏れないこと、画像を正確に説明できることも求める。

    著者らは2つのモデルを試した。モダリティごとに別々のパラメータを持つ BAGEL-7B-MoT と、1つのバックボーンを共有する Janus-Pro-7B である。画像生成モデル向けに作られた消去ツールは、生成の側ではうまく働いた。その一つ TIME は、対象の生成を BAGEL で100.0%、Janus で96.7%の事例で止めた。しかし、名前を答えるのを抑えられたのは24.0%と30.7%にとどまった。もう一つのツール UCE は、名前の抑制で4.0%と15.3%だった。言語モデルから借りた忘却手法は生成の忘却をまったく起こさず、BAGEL での名前の抑制は0.7%と0.0%だった。TIME とそのうちの一つ GD を組み合わせると、同時忘却は BAGEL で31.3%、Janus で41.3%に達した。

    提案手法 UniForget は2段階で働く。第1段階では、再学習ではなく数式によって、選んだ重み行列を書き換える。各対象プロンプトには、名前を一般的な言い回しに置き換えた「アンカー」プロンプトを組み合わせる。編集は、対象プロンプトに対するモデル内部の反応をアンカーへの反応に近づけ、ほかのプロンプトはそれまでどおり振る舞うよう制約する。第2段階ではモデルを固定し、理解の側のために LoRA アダプターを学習させる。LoRA は、小さな重みの追加セットである。6つの学習目標によって、正体を問う質問には一般的な答えを返すよう誘導しつつ、説明の情報量と近傍概念は保つ。その後、アダプターの一定の割合をモデルに統合し直す。割合は BAGEL で0.4、Janus で1.0だ。

    著者らは、同時忘却が BAGEL で80.0%、Janus で92.7%だったと報告している。厳しいスコアでは、UniForget は BAGEL で47.6%となり、TIME と GD を組み合わせた比較手法の28.8%を上回った。Janus では58.0%対31.0%だった。ただし、改善には代償がある。BAGEL では、対象画像を正確に説明できた割合が72.2%に下がった。組み合わせた比較手法では91.8%、編集前のモデルでは96.7%である。画像生成のベンチマーク GenEval では、BAGEL が72.7から63.4に、Janus が78.9から70.1に下がった。一般的な理解のスコアはおおむね安定していた。アダプターを多く統合するほど忘却は進んだが、説明の質はさらに落ちた。

    著者らは、この忘却は標準的なプロンプトの下で観察された振る舞いの上のものであり、重みから情報を消したと保証できる削除ではないと認めている。試したのはパラメータ数7Bのモデル2つと30の概念だけで、品質の判定には一部 AI による採点が使われた。30の概念を一度に消すと、名前の抑制は BAGEL で51.2%、Janus で37.1%に落ちた。名前を露出させるプロンプトでは、BAGEL の抑制は61.7%に下がった。本文にはエラーバーや繰り返し実験の報告はない。コードとベンチマークは、論文の出版時に公開するとしている。

    この結果は、パラメータを共有するモデルではテキストで見つかったステアリングベクトルが画像生成にも引き継がれるという、braintankAI が以前に報じた研究とはかみ合わない(関連記事)。本研究では、忘却は2つの方向の間でほとんど引き継がれなかった。また、モデルに拒否を避けるよう求める点で、この研究は、マルチモーダルモデルに危険な入力を断らせる手法とも異なる。そうした手法は braintankAI でも取り上げている(関連記事)。

    論文
    Is Forgetting Unified? Exploring Concept Unlearning in Unified Multimodal Models
    著者
    Zhongkai Xue, Junkai Chen, Mingcong Lei, Rumo Zhang, Yixiao Liu, Zhimin Sun et al.
    掲載
    arXiv プレプリント(査読前) · 2026年11月3日
    リンク
    arxiv.org/abs/2611.04467
    英語版
    Wiping a concept from an AI's drawings often leaves it able to name it in photos

    日本語版の記事

    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables
    physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables

    Physics lab apparatus from above: foil-wrapped vacuum chambers, magnets and cables · Photo: Devon Rogers

    Substrate · 交替磁性

    正味の磁化がない磁性体 MnTe で、スピン分裂した電子バンドを観測

    テルル化マンガンの光電子分光を計算と照合した結果、共線磁性体の第3の分類として提案されている交替磁性体に予測されたスピン分裂が確認された。

    Nature · 2024年2月14日

    Photo: Brecht Corbeel

    Latent · 局所的な画風変換

    動画の物体か背景だけを画風変換し、他の部分はおおむね保つモデル

    Xiaomi の LociArt は、編集する場所と画風の両方を符号化するマスクと100,000組の合成学習データを組み合わせるが、同じデータで微調整した対抗モデルも迫る。

    arXiv プレプリント · 2026年10月27日

    Photo: Shane Rounce

    Agency · 業務課題の自動構築

    AI エージェントが事務仕事を学ぶ前に、欠陥のある練習課題を直す

    WorkFactory は課題ごとに必要な情報を洗い出し、試しに解かせて欠落を補ったうえで、強いモデルの手本で小型の Qwen モデルをファインチューニングする。

    arXiv プレプリント · 2026年10月27日