顛覆虛擬試衣行業標準！阿里發布OutfitAnyone：任意服裝+任意人！ 精華
文章鏈接：https://arxiv.org/pdf/2407.16224
git鏈接: https://humanaigc.github.io/outfit-anyone/
huggingface: https://huggingface.co/spaces/HumanAIGC/OutfitAnyone
?
亮點直擊
- 頂尖逼真度：OutfitAnyone 方法為虛擬試穿設立了新的行業標準，提供行業領先的高質量結果。
- 高魯棒性：OutfitAnyone 可以支持任何人、任何服裝、任何體型和任何場景的虛擬試穿。
- 靈活控制：支持各種姿勢和體型引導方法，包括 (openpose，SMP，densepose)。
- 高質量：支持靈活尺寸的虛擬試穿合成，尺寸范圍從 384（寬）× 684（高）到 1080（寬）× 1920（高）。
虛擬試穿 (VTON) 已成為一種變革性技術，使用戶能夠在不實際試穿衣服的情況下嘗試時尚。然而，現有的方法通常難以生成高保真和細節一致的結果。雖然擴散模型（如 Stable Diffusion 1/2/3）在創建高質量和逼真的圖像方面展示了其能力，但在 VTON 這樣的條件生成場景中，它們遇到了巨大的挑戰。具體來說，這些模型在生成虛擬試穿圖像時難以在控制和一致性之間保持平衡。
OutfitAnyone 通過利用雙流條件擴散模型解決了這些限制，使其能夠巧妙地處理服裝變形，從而生成更加逼真的結果。它的特點在于可擴展性——可以調節姿勢、體型等因素，且應用范圍廣泛，從動漫圖像到實際場景圖像均可適用。OutfitAnyone 在各種場景中的表現突顯了其實用性和現實世界部署的準備程度。
整體框架
如下圖2所示，開發了一個框架，結合了ReferenceNet，該網絡在服裝圖像作為主要生成流程中的條件時，有效地保持了圖案和紋理信息的完整性。該設計確保了在生成過程中服裝的合身性和視覺細節能夠準確保留。內部網絡分為兩個流，用于獨立處理模型和服裝數據。這些流在融合網絡中匯合，從而將服裝細節嵌入到模型的特征表示中。在此基礎上，建立了OutfitAnyone，包括兩個關鍵元素：用于初始試穿圖像的零樣本試穿網絡（Zero-shot Try-on Network），以及用于增強輸出圖像中服裝和皮膚紋理細節的事后優化器（Post-hoc Refiner）。
服裝特征注入
Stable Diffusion (SD) 及其增強版 SDXL都采用了預訓練的自動編碼器進行復雜度降低，該自動編碼器由編碼器和解碼器組成。為了擴展此框架以解決虛擬試穿問題，保持服裝外觀一致性至關重要，因此需要額外的服裝圖像條件輸入。輸入的服裝圖像被輸入到編碼器中，以提取其在潛在空間中的相應特征。研究者們設計了一個專門的服裝特征處理網絡 ReferenceNet，該網絡的結構與原始 SD 模型中的 U-Net相似。兩個網絡都以相同的預訓練參數初始化，以確保一致性。通過集成空間注意力和交叉注意力層，成功地將與服裝相關的特征納入去噪流程，從而顯著提升試穿圖像生成的質量。
無分類器引導
在原始SD的背景下，無分類器引導（classifier-free guidance）是一種在不依賴外部分類器的情況下控制生成過程的技術。該方法利用單個擴散模型在有條件和無條件數據上進行訓練。通過調整引導比例，可以引導生成過程生成與給定文本提示一致的圖像。
在虛擬試穿框架中，將服裝圖像確定為關鍵控制元素，強調其相對于文本提示的重要性。因此，調整了無條件分類器引導，使用空白服裝圖像作為無條件輸入，而使用實際提供的服裝圖像作為條件輸入。能夠有效地利用引導比例，從而提供更加精確和一致的生成結果。
背景和光照保留
為了保持生成圖像與原始圖像在光照和背景上的一致性，之前的工作如TryonDiffusion使用了人物服裝分割模型，從模型圖像中獲取服裝mask。這個mask會稍微擴展，然后擦除模型圖像中對應的區域。將部分擦除的圖像輸入生成模型，生成模型學習基于該圖像和給定的服裝圖像填充服裝區域。這種方法在更換相似風格的服裝時效果很好，而無需大量數據。然而，對于風格差異顯著的服裝更換，如從短褲換成長裙或從緊身換成寬松的衣服，則不適用。原因是原始服裝mask的區域可能限制新服裝的生成，并且mask形狀可能導致與風格的不良耦合。
本文的方法首先檢測模型圖像中人物的邊界框，然后擦除除了面部和手部以外的所有部分。這種方法避免了mask形狀與風格的不良耦合，并提供了足夠大的區域支持上下裝的更換。然而，增加生成的背景區域可能導致顯著的背景差異。在這種情況下，可以使用精確的人物分割模型提取生成的人物并將其粘貼回原始背景中。
姿勢和形狀引導
傳統方法在更換單件衣服時，通過選擇性地替換圖像部分來保留身體形狀的真實度，保留軀干以生成合理的身體輪廓。然而，這種方法在更換整套衣服時失敗，需要額外的姿勢和形狀引導器進行指導。
在控制人物姿勢方面，雖然之前的研究如ControlNet已展示了令人印象深刻的結果，但它們需要額外的訓練階段和參數。相比之下，作者采用了一種更簡化的架構方法。如前面所述，為確保一致的背景和光照，結合了反映姿勢和形狀的條件圖像。所有這些組件可以一起連接并作為輸入送入去噪U-Net中?？刂茍D像可以包括骨架圖像、密集姿勢圖像或使用SMP模型渲染的與目標圖像對應的圖像。在實驗中，作者實現了與ControlNet類似的姿勢和形狀控制效果，而無需額外的參數或訓練階段。
細節優化器
為了創建適用于任何服裝和任何人的虛擬試穿體驗，在數據集中引入了各種服裝風格和人類主體。然而，確保數據集的多樣性同時保持高圖像質量和細節是一個挑戰。為了解決這個問題，從數據集中選取了最高質量的圖像，并將它們與虛擬試穿初始版本生成的圖像配對，這些初始圖像缺乏清晰和高質量的細節。參見下圖3的示意圖。通過這種方式，構建了一個特定任務的數據集，包括高質量和低質量圖像的配對。隨后，重新利用虛擬試穿框架，將低質量圖像作為輸入，高質量圖像作為目標，訓練擴散模型有效地恢復精細和真實的細節。
結果
本節展示了本文方法的強大性能，支持任何服裝、體型、人物和背景變化的單件和多件虛擬試穿。值得注意的是，本文的技術還能夠在未包含在訓練數據集中的動畫人物上進行虛擬服裝更換。
任何服裝
如下圖4所示，OutfitAnyone 不僅支持單件服裝的虛擬試穿，還允許同時更換上下裝等完整的服裝套裝。此外，它能夠有效生成適合各種服裝風格的真實試穿效果，包括長袖和短袖上衣、長褲和短褲，以及連衣裙和類似服裝。與之前的方法相比，OutfitAnyone 在處理各種服裝風格和組合方面展示了卓越的適應性和效果。
任何人物
OutfitAnyone 能夠適用于各種膚色、年齡和性別的模型虛擬試穿，如下圖5和圖6所示。此外，它能夠巧妙處理日常用戶的自拍圖像，這些圖像的質量和光照通常與專業模特照片差異很大。盡管存在這些差異，OutfitAnyone 依然能一致地提供令人信服的服裝轉換效果，如下圖13最后一列所示。
此外，本文的技術還擴展到了未包含在訓練數據中的動畫角色，如下圖7所示。這一能力表明，本文的模型不僅僅是簡單的學習和模仿，它還獲得了真正的理解和智能能力，能夠在各種情境下有效地應用服裝更換！
任何體型
本文的框架包含一個額外的通道用于姿勢和形狀引導，它提取類似于DensePose的數據（工作還支持SMPL和OpenPose），這些數據反映了身體的輪廓。這些信息對于引導最終生成的模型復制原始圖像的精確體型至關重要。如下圖8所示，本文的方法在各種體型上，即使在進行全面的服裝更換后，也能很好地保持原始模型的體型。
任何背景
OutfitAnyone 在各種背景和光照場景中表現出卓越的魯棒性。它能夠在復雜的戶外場景中生成合理的服裝光照效果，并在各種室內和戶外背景下保持良好表現，如上圖5、下圖11以及上圖13的最后一列所示。這種適應性展示了它在不同環境條件和現實世界背景下的有效性。
細節優化器
本文提出利用自循環優化器模型來增強虛擬試穿結果的真實感。下圖9顯示，該優化器模型顯著提升了渲染圖像的清晰度和紋理逼真度，而下圖12強調了其保留清晰、局部細節的能力。在OutfitAnyone中，這個額外的優化步驟對于實現更加生動和令人信服的虛擬試穿體驗至關重要。
比較
將本文的方法與一些流行的社區方法進行了比較，如OOTDiffusion（在GitHub上有5k星）和IDM-VTON（在GitHub上有3k星）。本文的模型在特別具有挑戰性的場景中表現出明顯更好的性能。如前面圖13所示，OutfitAnyone即使在處理普通用戶照片時也表現出色，這些照片通常具有復雜的背景和光照條件，使得實現令人滿意的虛擬試穿結果更加困難。這突顯了本文方法在處理現實世界情況時的卓越魯棒性，能夠在各種情況下保持高質量的表現。
時尚設計助手
實際上，OutfitAnyone模型被證明是一個多功能且有用的時尚設計資源。通過利用其生成獨特和時尚服裝設計的能力，它可以激發設計師探索新風格和新想法。此外，當只提供一件上裝時，本文的模型可以生成潛在的下裝設計建議，提供額外的創意可能性并促進設計過程，如下圖10所示。盡管有一些細節需要關注，但相信，隨著訓練數據的增加和模型的優化，可以實現更好的結果。
結論
自2023年底初次發布以來，OutfitAnyone經歷了多個版本的迭代，基于SD 1.5和SDXL版本不斷改進。其最初的開源版本在Hugging Face平臺上排名第14位，位列整個Hugging Face平臺（超過20萬個項目）前0.01% ，贏得了廣泛的認可和關注。強大的擴散技術（如SD、SDXL、DDPM/DDIM/DPM、ControlNet等）和谷歌在虛擬試穿方面的開創性探索TryonDiffusion，這使研究者們能夠為虛擬試穿開辟出一條獨特、成熟的發展路徑?？傊?，OutfitAnyone有幸為AI生成內容（AIGC）的實際部署提供了一個基準應用。
本文轉自 AI生成未來 ，作者：Ke Sun等
