動画の物体か背景だけを画風変換し、他の部分はおおむね保つモデル
Xiaomi の LociArt は、編集する場所と画風の両方を符号化するマスクと100,000組の合成学習データを組み合わせるが、同じデータで微調整した対抗モデルも迫る。

動画の画風変換の多くは、フレーム全体を描き直す。Xiaomi と西安電子科技大学の研究者による LociArt は、より限られた作業を狙う。動画の中で選んだ部分だけを、指定した画風に変えるというものだ。対象は動く物体か、その周囲のすべてのどちらかで、それ以外の映像は保つ。この2026年の論文は査読を経ていないプレプリントで、3つの要素をまとめている。学習用データセット、GRNStyle と呼ぶモデル、そしてこうした編集を評価するベンチマークである。
著者らは3つの障壁を挙げる。1つ目は二値マスクだ。二値マスクは編集するピクセルを白黒で示した地図で、どこを編集するかは示すが、どの画風を当てるかは示さない。そのためモデルは、別に書かれた画風の説明を正しい領域と結びつけなければならない。2つ目に、マスクを動画モデルに入力する方法には、文脈と精度の兼ね合いがある。動画と同じようにマスクを圧縮すると輪郭がぼやける。生のマスクを単純に縮小すると形は保たれるが、フレームをまたいで学習された文脈が欠ける。3つ目に、既存のペアデータセットはフレーム全体の画風変換や、より幅広い編集を扱うもので、局所的な画風変換の前後を対にした動画は含んでいない。
GRNStyle は Generative Refinement Networks を土台にしている。これは動画を二値のビットとして表現し、最初はランダムなビットの集合を繰り返し洗練して出力に仕上げる生成器だ。主な追加点は「極座標型スタイル認識マスク」である。各画風には円周上の固定された角度が割り当てられる。編集領域の内側では、マスクが2つのチャンネルにその角度の余弦と正弦を記録し、3つ目のチャンネルは単に領域を示す。このため、どの画風の符号も長さは同じで、方向だけが異なる。通常のマスクと比べて、チャンネルやトークンは増えない。2つ目の構成要素は、マスクを動画と同じ凍結したエンコーダーに通し、空のマスクを符号化したものを差し引く。これにより「編集なし」の信号はちょうどゼロになる。あわせて縮小した生のマスクも与え、その信号をどこに注入するかを制御する。
学習データ LociArt-100K は、自動化されたパイプラインで作られた。SA-V と Ditto-1M のコレクションから取った動画について、Qwen3-VL-32B が目立つ物体の名前を挙げ、SAM3 がそれを追跡し、SVOR が各物体を消して背景だけのきれいな動画を作る。次に、元の動画と物体を消した動画の両方を、Ditto と、動画モデル VACE を社内で微調整した版が丸ごと画風変換し、GPT-5.5 が出力をふるいにかける。VideoMaMa はアルファマット、すなわちピクセルごとの柔らかな透明度の地図を推定する。これを使って画風変換した部分と元の部分を合成し、前景だけを変換した目標映像と、背景だけを変換した目標映像を作る。結果は人間のアノテーターが確認し、18の画風カテゴリーにわたる100,000組が残った。
著者らは20億パラメータのモデルを NVIDIA H200 チップ8基で学習させ、168件からなる自前のベンチマークで試した。主要な指標であるスタイル・プロトタイプ類似度(SPS)は、編集した領域をその画風の参照例と比べるもので、GRNStyle は前景の編集で0.407、背景の編集で0.705だった。次点は LociArt-100K で微調整した VACE-1.3B で、0.386と0.676。商用の Seedance 2.5 は0.347と0.358だった。微調整前の VACE-1.3B は0.156と0.191にとどまっており、改善の多くはアーキテクチャよりデータセットによるものであることがうかがえる。GRNStyle がすべての項目で首位というわけではない。手を加えていない VACE-1.3B は編集対象外の領域を最もよく保ち、PSNR は32.35dB と29.17dB で、GRNStyle の25.92dB と26.15dB を上回った。ただし、画風はほとんど変わっていなかった。Seedance 2.5 は前景の編集を画風名に合わせる点で首位に立ち、フレーム間の一貫性でも0.984対0.983とわずかに上回った。
極座標型の設計がはっきり有利に出た試験もある。10種類の画風で学習したモデルに、過去の学習データを使い直さずに5種類の画風を追加で学ばせたところ、元の画風での SPS の低下は、極座標型の符号では0.022、通常の二値マスクでは0.102だった。
限界は大きい。「フリースタイル」とうたっていても、実際には学習済みの限られたカテゴリーの中から選ぶもので、それ以外の画風を扱うには追加の微調整が要る。学習の目標データは他の生成器が作ったもので、その品質や偏りを引き継ぐ。生成器のうち1つは公開されていない。ベンチマークと SPS は著者ら自身が用意したもので、ベンチマークの規模は小さい。AI による判定は、データの選別と、Gemini 3.6 Flash による結果の採点の両方に使われている。ユーザー調査の参加者は20人で、比較対象の平均点は本文に示されていない。ベンチマークの表には誤差範囲がない。複数の離れた領域を同時に別々の画風に変えるという目を引く能力も、例で示されているだけだ。
追加の空間的な入力で動画生成器を制御するという課題は、braintankAI が取り上げた KAIST AI のプレプリントにも登場した。表面形状のマップで生成を導き、カメラが周りを回っても被写体の見た目が一貫するようにする研究である(関連記事)。そちらでは追加の入力が被写体の見た目を固定し、LociArt では画風が及ぶ場所を固定する。
- 論文
- LociArt: A Unified Paradigm for Free-Style Local Video Stylization
- 著者
- Yuxuan Chen, Feng Xie, Jiagao Hu, Fuhao Li, Zepeng Wang, Fei Wang et al.
- 掲載
- arXiv プレプリント(査読前) · 2026年10月27日
- リンク
- arxiv.org/abs/2610.36456
- 英語版
- Video model restyles one object or its background while largely sparing the rest


