阿里通義實驗室提出AnyStory：開啟個性化文本到圖像生成的新篇章！
在這個數字化時代，生成式AI技術正以前所未有的速度改變著我們的創(chuàng)作方式。近期，阿里通義實驗室發(fā)表了一篇題為《AnyStory: Towards Unified Single and Multi-Subject Personalization in Text-to-Image Generation》的論文，該論文提出了一種創(chuàng)新的框架，旨在通過統(tǒng)一的路徑實現單個及多個主體的個性化文本到圖像生成，為故事可視化、藝術創(chuàng)作乃至更多領域帶來了革命性的突破。
論文中深入探討了當前文本到圖像生成技術面臨的挑戰(zhàn)，如主體一致性、細節(jié)保留以及多主體個性化等方面的不足。為了解決這些問題，他們提出了AnyStory框架，該框架結合了增強的主體表示編碼器和解耦的實例感知主體路由器，實現了前所未有的個性化生成效果。
上圖為AnyStory的示例。該方法在保留主題細節(jié)、對齊文本描述和個性化多個主題方面表現出色。其中純白色背景的圖像作為參考。
相關鏈接
- 論文：https://arxiv.org/pdf/2501.09503v1
- 主頁：https://aigcdesigngroup.github.io/AnyStory/
論文介紹
最近，大規(guī)模生成模型已經展示了出色的文本到圖像生成能力。 然而，生成具有特定主題的高保真?zhèn)€性化圖像仍然存在挑戰(zhàn)，特別是在涉及多個主題的情況下。論文出了一種統(tǒng)一的個性化主題生成方法 AnyStory。AnyStory 不僅可以實現單個主題的高保真?zhèn)€性化，還可以實現多個主題的高保真?zhèn)€性化，而不會犧牲主題保真度。具體來說，AnyStory 以“編碼然后路由”的方式對主題個性化問題進行建模。在編碼步驟中，AnyStory 利用通用且強大的圖像編碼器 ReferenceNet 與 CLIP 視覺編碼器結合實現主題特征的高保真編碼。在路由步驟中， AnyStory 利用解耦的實例感知主題路由器 準確感知和預測潛在空間中相應主題的潛在位置，并指導主題條件的注入。詳細的實驗結果證明了我們的方法在保留主題細節(jié)、對齊文本描述和針對多個主題進行個性化方面的出色表現。
方法
AnyStory 遵循“編碼后路由”的條件生成范式，首先利用簡化的 ReferenceNet 結合 CLIP 視覺編碼器對主體進行編碼，然后利用解耦的實例感知主體路由器引導主體條件注入。訓練過程分為兩個階段：主體編碼器訓練階段和路由器訓練階段。為簡潔起見省略了文本條件分支。
效果展示
論文中的大量實驗結果驗證了AnyStory在單個及多個主體個性化生成方面的卓越性能。無論是生動的動漫場景、逼真的電影畫面，還是充滿想象力的奇幻世界，AnyStory都能根據文本提示，生成高度一致且個性化的圖像序列。此外，通過可視化路由圖，我們可以直觀地看到框架如何精確地預測和定位每個主體的潛在位置。
