用五級階梯判斷影像生成器到底有多聰明
一篇 2026 年的綜述把視覺生成器從只靠提示詞出圖的模型,一路分級到 AI 代理與世界模型,再實測兩個閉源系統,看它們在哪裡失手。

影像生成器已經能產生與照片難以分辨的圖片,常有人說它們越來越聰明。但所謂更聰明,指的是哪方面?同樣能生成擬真影像的系統,換到下一張圖,仍可能記不住同一個角色的長相。它們也可能把一行文字寫得亂七八糟、弄錯物體之間的空間關係,或畫出任何物理過程都不可能產生的場景。
清華大學、LMMs-Lab 等機構的 Keming Wu 與一大群共同作者,在 2026 年把一篇綜述論文上傳到 arXiv,試圖替這個問題理出一個架構。這是一篇尚未經同儕審查的預印本。作者主張,說一個模型更聰明,就應該講清楚是哪一項能力進步了。FID、CLIP score 這類常見的自動評分,衡量的是圖片看起來有多逼真、與提示詞有多吻合;作者表示,這些指標測的大多是最基本的能力。他們認為,倚賴這些指標會讓研究人員高估進展。
核心構想
作者受到 OpenAI 為通用人工智慧規劃的分階段路線圖啟發,提出一道五級階梯。每往上一級就多一項能力,系統依它能做什麼來分級,而不是依它怎麼打造。前三級關注的是單一次前向傳遞能吸收多少資訊;所謂前向傳遞,就是模型從輸入到輸出完整跑一次。第 1 級只靠文字提示詞生成圖片。第 2 級還能遵循一項明確的控制條件,例如一張草圖或一張參考臉孔。第 3 級能一次處理豐富的脈絡,例如多張參考圖片,或先前的編輯紀錄。
最上面兩級講的則是協調多次模型呼叫,而不只是一次。第 4 級的系統有一個外部控制器,並符合取自語言模型文獻的四項標準:自行選擇要採取的行動、在接收環境回饋的迴圈中運作、朝長期目標持續推進,以及自行決定何時停止。作者套用 Anthropic 對「工作流程」(workflow)與「代理」(agent)的區分,把 GEMS、Gen-Searcher 等系統歸為工作流程,JarvisArt 則算是代理。第 5 級是世界建模,額外要求系統以物理與因果知識為根據。到了這一級,系統預測的會是實際上會發生什麼,而不只是看起來合理的畫面。作者把這一級標示為未來的層級。
論文怎麼運用這套架構
這篇論文沒有提出新模型,而是把每個系統拆成四個部分:編碼器或 tokenizer 把影像轉成網路能處理的形式;骨幹網路負責主要運算;一個模組接收參考圖片等條件,另一個模組再把這些條件和其他資訊融合。作者用這個框架,把 2025 和 2026 年的十份業界技術報告放在一起對照,其中包括 HunyuanImage 3.0、Qwen-Image 和 Wan-Image。十份當中有六份用同一個骨幹網路處理文字生成圖片、圖片轉圖片,以及依指令編輯。作者把這視為生成與編輯已經合併成單一架構的證據。
閉源的商業系統很少透露自己是怎麼打造的。針對這些系統,作者提出四項猜想,並形容它們帶有推測性質,但可以被否證。他們的主要看法是,開源與閉源系統之間的差距,大多在於影像渲染器周邊的機制,而不在渲染器本身。第一項猜想是,渲染器的上游放了一個頂尖的視覺語言模型,也就是能同時讀懂圖片和文字的 AI。綜合來看,這些猜想意味著閉源系統最可能是在第 4 級運作,而作者討論到的最強開源系統,從架構上就止於第 3 級。在訓練方面,作者認為進步越來越來自資料品質與篩選整理,而不只是擴大參數規模。依開發者的說法,HunyuanImage 3.0 從規模極為龐大的圖片資料池中,只保留不到 45%。
實際動手的部分是一組涵蓋八個面向的壓力測試,以完全相同的提示詞與設定,在 Nano Banana 和 GPT-Image-2 這兩個閉源生成器上執行。每個面向都對應到它主要挑戰的一個或多個等級。其中一項測試,要模型把一張熱氣球照片切成的拼圖重新拼回去。另一項則給模型一張柑橘切片浮在水面上的照片,請它解釋其中的物理原理,再畫出切片沉下去會發生什麼事。其他測試要模型直接在圖片上解一道仿中國入學考試的電磁感應題、對一張圖片進行多輪編輯、估計一張雜亂的真實場景照片的深度,以及畫出唐代長安城的平面圖。
能說明什麼,不能說明什麼
這些測試大致指出了系統會在哪裡出錯。在拼圖測試中,模型編造出看似合理的內容,而不是嚴格地把拼圖片放回原位。在浮力測試中,它加上了氣泡和變形,看起來像是因果造成的結果,卻沒有反映任何真實的物理。作者形容模型在這個案例中的做法是「先理解、後渲染」。直接在圖片上解考題,雖然有產出,但並不穩定。多輪編輯時,每一次修改單獨看都沒有問題;不過作者推斷,這些系統實際上只回應前一張圖片和新的指令,因此小錯誤會在不知不覺中累積。深度圖抓到了物體的輪廓,卻把許多不同的物體標成同樣的深淺。作者形容這是依照既有預期改寫,而非實際測量。長安城平面圖的整體配置和里坊格網都正確,但中文標示模糊不清或重複出現。
這篇綜述也質疑這個領域的計分方式。論文指出,用視覺語言模型當評審,與人類評分者之間的 Spearman 相關係數通常落在 0.57 到 0.75。Spearman 相關係數衡量的是兩份排名對同一批項目的排序有多相似,1 代表完全一致。DPG-Bench 是一項以 1,000 個長提示詞建構的測試。業界技術報告公布的 DPG-Bench 分數集中在 84 到 89 之間,仍能拉開前沿模型差距的,是 Relation 和 Other 這兩個類別。
這些證據有明顯的局限。這是一篇綜述與路線圖,不是對照實驗。壓力測試是針對兩個閉源系統的個別定性案例,論文沒有說明評分標準,也沒有重複試驗或獨立評分者。因此,前沿落在哪裡,是作者對所挑選例子的詮釋。十份中有六份的統計,建立在作者自己挑選的報告上;論文引用的業界數字,也出自各實驗室自己的技術報告。作者也稱他們對閉源系統的解讀帶有推測性。他們把第 5 級標為未來的層級,並把影片世界模型放在這篇以影像為主的論文範圍邊緣。他們也承認,這個領域的文獻增長快速,可能有些研究沒有納入。這篇論文提供的是一套詞彙,讓讀者不再只問一個生成器厲不厲害,而是問它站在階梯的哪一級。
- 論文
- Visual Generation in the New Era: An Evolution from Atomic Mapping to Agentic World Modeling
- 作者
- Keming Wu, Zuhao Yang, Kaichen Zhang, Shizun Wang, Haowei Zhu, Sicong Leng, Zhongyu Yang, Qijie Wang, Sudong Wang, Ziting Wang, Zili Wang, Hui Zhang et al.
- 刊登
- arXiv 預印本(未經同儕審查) · 2026年4月30日
- 連結
- arxiv.org/abs/2604.28185
- 程式碼
- github.com/EvolvingLMMs-Lab/Evolving-Visual-Generation
- 英文版
- A five-level ladder for judging how intelligent image generators really are


