OminiControl：一個新的FLUX通用控制模型，單個模型實現圖像主題控制和深度控制
OminiControl 也開源了其可控生成模型。OminiControl 是一個最小但功能強大的FLUX通用控制框架，可以一個模型實現圖像主題控制和深度控制。比如一個提示詞加一個服裝圖片就能讓生成的人物穿上服裝。或者實現將圖片中的物品放到生成圖片的指定位置。 主要有以下特點：
- 通用控制：支持主題驅動控制和空間控制（例如邊緣引導和繪畫生成）的統一控制框架。
- 極簡設計：在保留原始模型結構的同時注入控制信號。僅向基礎模型引入 0.1% 的額外參數。
相關鏈接
論文：https://arxiv.org/pdf/2411.15098
模型：https://huggingface.co/Yuanshi/OminiControl
試用：https://huggingface.co/spaces/Yuanshi/OminiControl
論文閱讀
摘要
本文介紹了 OminiControl，這是一個高度通用且參數高效的框架，它將圖像條件集成到預先訓練的擴散變換器 (DiT) 模型中。OminiControl 的核心是利用參數重用機制，使 DiT 能夠使用自身作為強大的主干對圖像條件進行編碼，并使用其靈活的多模態注意處理器對其進行處理。與現有方法不同，這些方法嚴重依賴具有復雜架構的附加編碼器模塊，OminiControl有以下特點：
- 有效且高效地結合了注入的圖像條件，僅需 0.1% 的附加參數。
- 以統一的方式處理廣泛的圖像調節任務，包括主題驅動生成和空間對齊條件，例如邊緣、深度等。
這些功能是通過對 DiT 本身生成的圖像進行訓練來實現的，這對主題驅動生成特別有益。廣泛的評估表明，OminiControl 在主題驅動和空間對齊條件生成方面均優于現有的基于 UNet 和 DiT 的模型。此外，論文還發布了訓練數據集 Subjects200K，這是一個包含超過 200,000 張身份一致圖像的多樣化集合，以及一條高效的數據合成管道，以推進主題一致生成的研究。
方法
擴散變壓器 (DiT) 架構和圖像調節的集成方法概述。OminiControl利用了一個參數復用機制，使DiT能夠使用自身作為強大的后端來編碼圖像條件，并通過其靈活的多模態注意力處理器處理這些條件。與現有依賴于具有復雜架構的額外編碼模塊的方法不同，OminiControl以僅0.1%的額外參數有效且高效地整合了注入的圖像條件，并以統一的方式解決了包括主題驅動生成和空間對齊條件（如邊緣、深度等）在內的廣泛圖像條件控制生成任務。
兩種方法整合圖像條件的結果比較。與直接添加相比，多模態方法表現出更好的條件跟蹤效果。
來自Subjects200K 數據集的示例。每對圖像顯示同一物體在不同位置、角度和光照條件下的狀態。該數據集包括各種物體，例如衣服、家具、車輛和動物，共計超過 200,000張圖像。該數據集以及生成管道將公開發布。
結果
主題驅動生成
文字提示
- 提示 1：此物品的近距離視圖。它放在一張木桌上。背景是一個黑暗的房間，電視開著，屏幕上正在播放烹飪節目。屏幕上的文字寫著“Omini Control！”。
- 提示 2：電影風格的鏡頭。在月球上，這個物品駛過月球表面。上面有一面旗幟，上面寫著“Omini”。背景是地球在前景中若隱若現。
- 提示3：在一個包豪斯風格的房間里，這件物品被放置在一張閃亮的玻璃桌上，旁邊放著一瓶鮮花。在午后的陽光下，百葉窗的陰影投射在墻上。
- 提示 4：“在海灘上，一位女士坐在一把寫著‘Omini’的沙灘傘下。她穿著這件襯衫，臉上掛著燦爛的笑容，身后背著沖浪板。背景是夕陽西下。天空呈現出美麗的橙色和紫色。”
試穿效果
場景變化
Dreambooth數據集
空間對齊控制
圖像修復（左：原始圖像；中：蒙版圖像；右：填充圖像）
- 提示：蒙娜麗莎戴著一個白色的 VR 耳機，上面寫著“Omini”。
- 提示：一本黃色的書，封面上用大號字體寫著“OMINI”。底部寫著“for FLUX”的字樣。
限制
- 由于訓練中缺乏人類數據，該模型的主體驅動生成主要針對物體而不是人類主體。
- 主題驅動的生成模型可能不太適合FLUX.1-dev。
- 發布的型號目前僅支持512x512的分辨率。
待辦事項
- 發布更高分辨率（1024x1024）的模型。
- 發布訓練代碼。
結論
OminiControl 使用統一的 token 方法，為跨不同任務的 Diffusion Transformers 提供參數高效的圖像調節控制，無需額外的模塊。該方法優于傳統方法，而新的 Subjects200K 數據集（包含超過 200,000 張高質量、主題一致的圖像）支持主題一致生成的進步。結果證實了 OminiControl 在擴散模型中的可擴展性和有效性。
