画像生成モデルの本当の賢さを5段階のはしごで見極める
2026年のサーベイ論文が、画像生成モデルをプロンプトから描くだけの段階からエージェントや世界モデルまでの5段階に整理し、クローズドな2つのシステムを試してどこで崩れるかを探った。

画像生成モデルは写真と見分けにくい画像を生み出せるようになり、より賢くなっているとよく言われる。だが、どういう意味で賢くなったのか。写真のようにリアルな画像を描ける同じシステムが、ある画像から次の画像へと登場人物の顔を一貫して保てないことがある。文字列を崩したり、物体どうしの位置関係を取り違えたり、どんな物理過程からも生じえない場面を描いたりもする。
Keming Wu をはじめ、清華大学や LMMs-Lab などの機関に所属する多数の共著者は、この問いに筋道をつけようとするサーベイ論文を2026年に arXiv で公開した。査読を経ていないプレプリントである。著者らは、モデルが「より賢くなった」と言うなら、どの能力が向上したのかを具体的に示すべきだと主張する。FID や CLIP スコアといったおなじみの自動評価指標は、画像がどれだけリアルに見えるか、プロンプトにどれだけ合っているかを採点するものだが、著者らによれば、これらは主に最も単純な能力しか試していない。こうした指標に頼ると研究者は進歩を過大評価してしまう、と著者らは論じている。
基本的な考え方
著者らは、汎用人工知能に向けた OpenAI の段階的なロードマップに着想を得て、5段階のはしごを提案する。段階が1つ上がるごとに能力が1つ加わる。システムは作り方ではなく、何ができるかによって分類される。下の3段階は、1回のフォワードパスでどれだけの情報を取り込めるかに関わる。フォワードパスとは、入力から出力までモデルを1回通して実行することだ。レベル1はテキストのプロンプトだけから画像をつくる。レベル2はそれに加えて、スケッチや参照用の顔画像など、明示的な制御を1つ反映できる。レベル3は、複数の参照画像やそれまでの編集履歴といった豊富な文脈を一度に扱う。
上の2段階は、モデルを1回呼び出すのではなく、何度もの呼び出しを組み合わせて制御することに関わる。レベル4のシステムは外部の制御役を備え、言語モデルの研究から借りた4つの基準を満たす。自ら行動を選ぶこと、環境からのフィードバックを受けながらループで動くこと、長期的な目標に向けて取り組みを続けること、そしていつ止めるかを自分で判断することだ。著者らは Anthropic による「ワークフロー」と「エージェント」の区別を当てはめ、GEMS や Gen-Searcher のようなシステムをワークフローに、JarvisArt をエージェントに分類している。レベル5の世界モデリングでは、さらに物理的・因果的な知識に裏打ちされていることが求められる。この段階のシステムは、もっともらしく見えることではなく、実際に何が起こるかを予測する。著者らはこのレベルを将来の段階と位置づけている。
枠組みをどう当てはめたか
この論文は独自のモデルを提示するものではない。代わりに、あらゆるシステムを4つの部品に分解する。エンコーダーまたはトークナイザーは、画像をネットワークが処理できる形式に変換する。バックボーンは主要な計算を担う。さらに、参照画像などの条件を取り込むモジュールと、それを残りの情報と融合するモジュールがある。著者らはこの視点から、HunyuanImage 3.0、Qwen-Image、Wan-Image を含む2025年と2026年の産業界の技術報告10本を並べて読み比べた。10本のうち6本は、テキストからの画像生成、画像から画像への変換、指示に基づく編集を同じバックボーンで処理していた。著者らはこれを、生成と編集が1つのアーキテクチャに統合された証拠とみなしている。
クローズドな商用システムは、その構造をほとんど明らかにしていない。こうしたシステムについて、著者らは4つの推測を示し、それらを「推測的だが反証可能」なものと位置づけている。中心となる主張は、オープンなシステムとクローズドなシステムの差は、画像を描画するレンダラーそのものではなく、主にその周りの仕組みにあるというものだ。1つ目の推測は、レンダラーの手前に最高水準の視覚言語モデルが置かれているというものである。視覚言語モデルとは、画像とテキストを併せて読み取る AI のことだ。4つの推測を合わせると、クローズドなシステムはレベル4で動いている可能性が最も高く、著者らが取り上げる最も強力なオープンなシステムは、構造上レベル3が上限になるということになる。学習については、性能の向上は単にパラメーター数を増やすことよりも、データの質と選別からもたらされるようになっていると著者らは論じる。開発元の説明では、HunyuanImage 3.0 は膨大な数の画像のうち45%未満しか残していない。
実践的な部分は8つの観点にわたるストレステストで、クローズドな2つの生成システム、Nano Banana と GPT-Image-2 に同じプロンプトと設定で実施した。各観点は、主に試されるレベルに対応づけられている。あるテストでは、熱気球の写真から切り出したジグソーパズルを組み直すよう求めた。別のテストでは、水に浮かぶ柑橘類の輪切りの写真を与えてその物理を説明させ、さらに輪切りが沈んだらどうなるかを描かせた。ほかにも、中国の大学入試風の電磁誘導の問題を画像上で直接解かせる、何度も続けて画像を編集させる、雑然とした実世界の写真から奥行きを推定させる、唐代の長安の都市図を描かせる、といったテストがある。
わかること、わからないこと
テストからは、システムがどこで崩れるかがうかがえる。ジグソーパズルのテストでは、モデルはピースを厳密に元に戻すのではなく、もっともらしい内容を作り出した。浮力のテストでは、因果関係があるかのような泡や変形を加えたが、実際の物理を反映したものではなかった。著者らはこの場合のモデルのやり方を「まず理解し、その後で描画する」ものだと表現している。画像上での試験問題の解答は、一定の成果は出たが、もろかった。複数回の編集では、個々の変更はそれぞれ問題なく見えた。しかし著者らは、システムが事実上、直前の画像とその回の指示にしか反応していないと推測しており、そのため小さな誤りが気づかれないまま積み重なった。奥行きマップは物体の輪郭を捉えたものの、多くの異なる物体に同じ濃淡を割り当てた。著者らはこれを、測定ではなく事前の予想に基づく書き換えだと説明している。長安の都市図は、配置や街区の格子こそ正確だったが、中国語のラベルが不鮮明だったり重複したりしていた。
このサーベイは、分野の評価のあり方にも疑問を投げかけている。論文の報告によれば、視覚言語モデルを採点役に使う評価は、人間の評価者との間で一般に0.57〜0.75のスピアマン相関にとどまる。スピアマン相関は、2つの順位づけが同じ対象をどれだけ似た順に並べるかを測る指標で、1なら完全に一致する。DPG-Bench は1000件の長いプロンプトで構成されたテストだ。産業界の技術報告で示されたこのテストのスコアは84〜89に集中しており、それでも最先端のモデルの間に差がつくのは Relation と Other の区分だという。
示された証拠には明確な限界がある。これはサーベイでありロードマップであって、対照実験ではない。ストレステストはクローズドな2つのシステムで個別の事例を定性的に見たもので、採点基準や繰り返し試行、独立した評価者についての記述はない。したがって、最先端がどこにあるかは、選ばれた例に対する著者らの解釈である。10本中6本という集計は著者らが選んだ報告に基づき、サーベイが引用する産業界の数値は各研究所の自前の技術報告によるものだ。著者らはクローズドなシステムについての自らの読み解きを推測的だとしている。また、レベル5を将来の段階とし、動画の世界モデルを画像を中心とした論文の対象範囲の境界に位置づけている。急速に増える文献の中で見落としがありうることも認めている。この論文が提供するのは語彙である。生成モデルが見事かどうかではなく、はしごのどの段に立っているかを問うための手がかりを読者に与えている。
- 論文
- Visual Generation in the New Era: An Evolution from Atomic Mapping to Agentic World Modeling
- 著者
- Keming Wu, Zuhao Yang, Kaichen Zhang, Shizun Wang, Haowei Zhu, Sicong Leng, Zhongyu Yang, Qijie Wang, Sudong Wang, Ziting Wang, Zili Wang, Hui Zhang et al.
- 掲載
- arXiv プレプリント(査読前) · 2026年4月30日
- リンク
- arxiv.org/abs/2604.28185
- コード
- github.com/EvolvingLMMs-Lab/Evolving-Visual-Generation
- 英語版
- A five-level ladder for judging how intelligent image generators really are


