本文經AIGC Studio公眾號授權轉載，轉載請聯系出處。

今天給大家介紹由香港大學，Adobe提出的統一圖像生產與編輯方法UniReal，將多種圖像任務統一成視頻生成的范式，并且在大規模視頻中學習真實的動態與變化，在指令編輯、圖像定制化、圖像組合等多種任務達到最佳水準。

圖片

上圖為UniReal多功能性的展示。作為一個通用框架，UniReal 支持在單一模型內進行廣泛的圖像生成和編輯任務，適應不同的輸入輸出配置并生成高度逼真的結果，可有效處理具有挑戰性的場景，例如陰影、反射、燈光效果、物體姿勢變化等。

相關鏈接

• 論文：https://arxiv.org/abs/2412.07774
• 主頁：https://xavierchen34.github.io/UniReal-Page/
• 代碼：即將開放...

論文概述

論文提出了一個統一的框架UniReal，旨在解決各種圖像生成和編輯任務?，F有的解決方案通常因任務而異，但基本原則是相同的：在捕捉視覺變化的同時保持輸入和輸出之間的一致性。受最近視頻生成模型的啟發，這些模型有效地平衡了幀之間的一致性和變化，文中提出了一種統一的方法，將圖像級任務視為不連續的視頻生成。具體來說，將不同數量的輸入和輸出圖像視為幀，從而實現對圖像生成、編輯、自定義、合成等任務的無縫支持。雖然是為圖像級任務設計的，但是利用了視頻作為通用監督的可擴展來源。UniReal 從大規模視頻中學習世界動態，展示了處理陰影、反射、姿勢變化和物體交互的高級能力，同時也展示了用于新應用的新興能力。

方法介紹

UniReal將圖像生成和編輯任務制定為不連續幀生成。首先，輸入圖像通過 VAE 編碼器編碼到潛在空間中。然后，將圖像潛在和噪聲潛在修補成視覺標記。之后將索引嵌入和圖像提示（資產/畫布/控件）添加到視覺標記中。同時，上下文提示和基本提示由 T5 編碼器處理。將所有潛在補丁和文本嵌入連接為一個長 1D 張量并將它們發送到轉換器。最后對去噪結果進行解碼以獲得所需的輸出圖像。

結果展示

自由形式的指導性編輯

主題驅動的圖像定制

人體形象個性化

對象/部件插入

圖像理解

更多應用