ASIA
    ←Agency
    Agency · 影像生成分級 · 5 分鐘
    BEIJING · Tsinghua University

    用五級階梯判斷影像生成器到底有多聰明

    一篇 2026 年的綜述把視覺生成器從只靠提示詞出圖的模型,一路分級到 AI 代理與世界模型,再實測兩個閉源系統,看它們在哪裡失手。

    2026年11月12日 · arXiv 預印本(未經同儕審查)
    Photo: Shane Rounce

    影像生成器已經能產生與照片難以分辨的圖片,常有人說它們越來越聰明。但所謂更聰明,指的是哪方面?同樣能生成擬真影像的系統,換到下一張圖,仍可能記不住同一個角色的長相。它們也可能把一行文字寫得亂七八糟、弄錯物體之間的空間關係,或畫出任何物理過程都不可能產生的場景。

    清華大學、LMMs-Lab 等機構的 Keming Wu 與一大群共同作者,在 2026 年把一篇綜述論文上傳到 arXiv,試圖替這個問題理出一個架構。這是一篇尚未經同儕審查的預印本。作者主張,說一個模型更聰明,就應該講清楚是哪一項能力進步了。FID、CLIP score 這類常見的自動評分,衡量的是圖片看起來有多逼真、與提示詞有多吻合;作者表示,這些指標測的大多是最基本的能力。他們認為,倚賴這些指標會讓研究人員高估進展。

    核心構想

    作者受到 OpenAI 為通用人工智慧規劃的分階段路線圖啟發,提出一道五級階梯。每往上一級就多一項能力,系統依它能做什麼來分級,而不是依它怎麼打造。前三級關注的是單一次前向傳遞能吸收多少資訊;所謂前向傳遞,就是模型從輸入到輸出完整跑一次。第 1 級只靠文字提示詞生成圖片。第 2 級還能遵循一項明確的控制條件,例如一張草圖或一張參考臉孔。第 3 級能一次處理豐富的脈絡,例如多張參考圖片,或先前的編輯紀錄。

    最上面兩級講的則是協調多次模型呼叫,而不只是一次。第 4 級的系統有一個外部控制器,並符合取自語言模型文獻的四項標準:自行選擇要採取的行動、在接收環境回饋的迴圈中運作、朝長期目標持續推進,以及自行決定何時停止。作者套用 Anthropic 對「工作流程」(workflow)與「代理」(agent)的區分,把 GEMS、Gen-Searcher 等系統歸為工作流程,JarvisArt 則算是代理。第 5 級是世界建模,額外要求系統以物理與因果知識為根據。到了這一級,系統預測的會是實際上會發生什麼,而不只是看起來合理的畫面。作者把這一級標示為未來的層級。

    論文怎麼運用這套架構

    這篇論文沒有提出新模型,而是把每個系統拆成四個部分:編碼器或 tokenizer 把影像轉成網路能處理的形式;骨幹網路負責主要運算;一個模組接收參考圖片等條件,另一個模組再把這些條件和其他資訊融合。作者用這個框架,把 2025 和 2026 年的十份業界技術報告放在一起對照,其中包括 HunyuanImage 3.0、Qwen-Image 和 Wan-Image。十份當中有六份用同一個骨幹網路處理文字生成圖片、圖片轉圖片,以及依指令編輯。作者把這視為生成與編輯已經合併成單一架構的證據。

    閉源的商業系統很少透露自己是怎麼打造的。針對這些系統,作者提出四項猜想,並形容它們帶有推測性質,但可以被否證。他們的主要看法是,開源與閉源系統之間的差距,大多在於影像渲染器周邊的機制,而不在渲染器本身。第一項猜想是,渲染器的上游放了一個頂尖的視覺語言模型,也就是能同時讀懂圖片和文字的 AI。綜合來看,這些猜想意味著閉源系統最可能是在第 4 級運作,而作者討論到的最強開源系統,從架構上就止於第 3 級。在訓練方面,作者認為進步越來越來自資料品質與篩選整理,而不只是擴大參數規模。依開發者的說法,HunyuanImage 3.0 從規模極為龐大的圖片資料池中,只保留不到 45%。

    實際動手的部分是一組涵蓋八個面向的壓力測試,以完全相同的提示詞與設定,在 Nano Banana 和 GPT-Image-2 這兩個閉源生成器上執行。每個面向都對應到它主要挑戰的一個或多個等級。其中一項測試,要模型把一張熱氣球照片切成的拼圖重新拼回去。另一項則給模型一張柑橘切片浮在水面上的照片,請它解釋其中的物理原理,再畫出切片沉下去會發生什麼事。其他測試要模型直接在圖片上解一道仿中國入學考試的電磁感應題、對一張圖片進行多輪編輯、估計一張雜亂的真實場景照片的深度,以及畫出唐代長安城的平面圖。

    能說明什麼,不能說明什麼

    這些測試大致指出了系統會在哪裡出錯。在拼圖測試中,模型編造出看似合理的內容,而不是嚴格地把拼圖片放回原位。在浮力測試中,它加上了氣泡和變形,看起來像是因果造成的結果,卻沒有反映任何真實的物理。作者形容模型在這個案例中的做法是「先理解、後渲染」。直接在圖片上解考題,雖然有產出,但並不穩定。多輪編輯時,每一次修改單獨看都沒有問題;不過作者推斷,這些系統實際上只回應前一張圖片和新的指令,因此小錯誤會在不知不覺中累積。深度圖抓到了物體的輪廓,卻把許多不同的物體標成同樣的深淺。作者形容這是依照既有預期改寫,而非實際測量。長安城平面圖的整體配置和里坊格網都正確,但中文標示模糊不清或重複出現。

    這篇綜述也質疑這個領域的計分方式。論文指出,用視覺語言模型當評審,與人類評分者之間的 Spearman 相關係數通常落在 0.57 到 0.75。Spearman 相關係數衡量的是兩份排名對同一批項目的排序有多相似,1 代表完全一致。DPG-Bench 是一項以 1,000 個長提示詞建構的測試。業界技術報告公布的 DPG-Bench 分數集中在 84 到 89 之間,仍能拉開前沿模型差距的,是 Relation 和 Other 這兩個類別。

    這些證據有明顯的局限。這是一篇綜述與路線圖,不是對照實驗。壓力測試是針對兩個閉源系統的個別定性案例,論文沒有說明評分標準,也沒有重複試驗或獨立評分者。因此,前沿落在哪裡,是作者對所挑選例子的詮釋。十份中有六份的統計,建立在作者自己挑選的報告上;論文引用的業界數字,也出自各實驗室自己的技術報告。作者也稱他們對閉源系統的解讀帶有推測性。他們把第 5 級標為未來的層級,並把影片世界模型放在這篇以影像為主的論文範圍邊緣。他們也承認,這個領域的文獻增長快速,可能有些研究沒有納入。這篇論文提供的是一套詞彙,讓讀者不再只問一個生成器厲不厲害,而是問它站在階梯的哪一級。

    論文
    Visual Generation in the New Era: An Evolution from Atomic Mapping to Agentic World Modeling
    作者
    Keming Wu, Zuhao Yang, Kaichen Zhang, Shizun Wang, Haowei Zhu, Sicong Leng, Zhongyu Yang, Qijie Wang, Sudong Wang, Ziting Wang, Zili Wang, Hui Zhang et al.
    刊登
    arXiv 預印本(未經同儕審查) · 2026年4月30日
    連結
    arxiv.org/abs/2604.28185
    程式碼
    github.com/EvolvingLMMs-Lab/Evolving-Visual-Generation
    英文版
    A five-level ladder for judging how intelligent image generators really are

    中文版報導

    a radiotherapy head mask on the couch, red alignment lasers crossing it
    a radiotherapy head mask on the couch, red alignment lasers crossing it

    A radiotherapy head mask on the couch, red alignment lasers crossing it · Photo: National Cancer Institute

    Interior · 果蠅求偶

    食物氣味加上群體動態,開啟一種果蠅的求偶行為

    2026 年一項 Nature 研究發現,Drosophila erecta 果蠅的雄蠅會被食物氣味引發性興奮,群體動態再加以放大;少了這樣的環境,就不會交配。

    Nature · 2026年11月4日
    rainbow light swirl spinning on black
    rainbow light swirl spinning on black

    Rainbow light swirl spinning on black · Photo: Flyd

    Latent · 串流影片生成

    用獎勵分數告訴快速影片模型該把訓練重點放在哪裡

    Stream-R1 依獎勵模型的評分,為每段訓練影片、每個影格和區域加權,在相同速度下於基準測試小幅勝過直接對照的基準方法。

    arXiv 預印本 · 2026年5月5日

    Photo: Pascal Bernardon

    Far Field · 黑洞純量雲

    偏心軌道放大輕粒子雲在黑洞訊號上留下的痕跡

    發表在 Physical Review Letters 的計算發現,偏心旋近在最內側軌道附近出現共振,會加強純量雲在重力波上留下的痕跡。

    Physical Review Letters · 2026年10月20日