我的發型我做主！上交聯合Tiamat發布首個基于擴散的商業級發型移植框架：Stable-Hair！
論文鏈接: https://arxiv.org/pdf/2407.14078
github鏈接: https://xiaojiu-z.github.io/Stable-Hair.github.io/
亮點直擊
- Stable-Hair：這是第一個基于擴散的發型移植框架。與現有的基于GAN的發型移植方法相比，Stable-Hair在保真度和魯棒性方面表現更佳。實驗結果證實，Stable-Hair優于其他最新的方法。
- 創新架構：本文的方法使用了Hair Extractor結合Hair Cross-attention Layers來有效地注入參考發型特征。為了在轉移過程中保持源內容的一致性，本文引入了一種新的Latent ControlNet架構。該架構既用作Bald Converter，又用作Latent IdentityNet，從像素空間到潛在空間促進發型移植過程。
- 自動化數據生產pipeline：本文開發了一條自動化數據生產pipeling，這在本文的框架成功訓練中起到了關鍵作用。
當前的發型移植方法在處理多樣且復雜的發型時存在困難，從而限制了它們在現實場景中的適用性。在本文中，本文提出了一種新型的基于擴散的發型移植框架，名為Stable-Hair，該框架能夠穩健地將各種真實世界的發型移植到用戶提供的面部圖像上，以實現虛擬試發。為了實現這一目標，本文的Stable-Hair框架設計為一個兩階段的流程。
- 在第一階段，本文訓練了一個光頭轉換器（Bald Converter）與 Stable diffusion一起使用，以去除用戶提供的面部圖像中的頭發，生成光頭圖像。
- 在第二階段，本文專門設計了三個模塊：頭發提取器（Hair Extractor）、潛在身份網絡（Latent IdentityNet）和頭發交叉注意力層（Hair Cross-Attention Layers），以將目標發型高細節和高保真度地轉移到光頭圖像上。
具體來說，頭發提取器被訓練用來編碼具有所需發型的參考圖像。為了保持源圖像與轉移結果之間身份內容和背景的一致性，本文采用了潛在身份網絡來編碼源圖像。在U-Net中借助本文的頭發交叉注意力層，可以準確而精確地將高度詳細和高保真度的發型移植到光頭圖像上。
大量實驗表明，本文的方法在現有的發型移植方法中實現了最先進的（SOTA）結果。
方法
Stable-Hair
概述。 本文的設計將發型移植過程分為兩個階段。首先，使用Bald Converter將用戶輸入的源圖像轉換為光頭agent圖像。其次，本文的模型將參考發型移植到光頭agent圖像上。這確保了發型移植的最佳穩定性，并保持源圖像內容的一致性。
Latent ControlNet。 在本方法中，源圖像分兩步處理。第一步是通過Bald Converter將源圖像轉換為光頭agent圖像。第二步是利用Latent IdentityNet保持光頭人物圖像的非頭發區域的內容一致性。通過這兩步保持源圖像的內容一致性至關重要。任何偏離預期目標的情況，例如顏色或結構的變化，都會導致內容不一致的最終圖像。因此，設計這兩個內容維護模塊成為本文發型移植框架的關鍵方面。
一種簡單的基線方法是利用ControlNet結構作為Bald Converter和Latent IdentityNet來確保內容一致性。然而，本文的實驗結果表明，盡管ControlNet能夠有效地保持源圖像的結構一致性，但它在保持顏色一致性方面存在困難。如下圖4所示，由于在這兩個步驟中累積的顏色偏差，最終的顏色發生了明顯的變化。
為什么ControlNet會產生顏色差異？本文認為原因在于像素空間和潛在空間在根本上以不同的方式表示圖像信息。像素空間處理的是圖像的原始像素值，而潛在空間則涉及由VAE編碼器創建的更抽象的高維表示。對于擴散模型，這兩個空間中信息的特征和分布可能會顯著不同，使得在訓練過程中對齊變得具有挑戰性。
因此，如下圖2所示，本文改進了ControlNet結構，并提出了一種新的變體，稱為Latent ControlNet。在圖像輸入ControlNet之前，圖像首先通過VAE編碼器編碼到潛在空間，然后通過一個新的可訓練卷積層發送到U-Net的可訓練副本。最后，本文基于提出的Latent ControlNet結構訓練本文的Bald Converter和Latent IdentityNet，并獲得了最佳的一致性效果。
模型訓練和推理
訓練數據收集。 如下圖5所示，本文創建發型配對數據集的流程包括兩個主要步驟。 首先，本文使用光頭轉換器生成光頭圖像，這些圖像在訓練期間作為光頭的agent圖像。 其次，基于原始圖像中的發型mask，本文使用Stable Diffusion修復模型和ChatGPT來編輯原始數據集的非發型部分，改變身份和背景，以創建訓練用的參考圖像。 最終，本文獲得了一個三元數據集，包括原始圖像、參考圖像和光頭agent圖像。
訓練。 在第一階段，本文使用類似于 ControlNet 的簡單方法在現有數據集上訓練光頭轉換器。這使本文能夠實現一個高效的光頭轉換器。在第二階段，本文專注于訓練模型的主要組件。在這兩個訓練過程中，本文使用了多種增強技術，這對于適應真實世界的場景和實現成功的發型移植至關重要。這些增強技術包括對源圖像、光頭agent圖像和目標圖像應用同步仿射變換。
這兩個階段的損失函數與原始的Stable Diffusion訓練目標相似，可以用數學公式表示如下：
推理。 在推理過程中，有兩個階段。在第一個階段，用戶提供的源圖像被輸入到光頭轉換器中以獲得光頭agent圖像。在第二個階段，光頭agent圖像和參考圖像被輸入到本文的發型移植框架中，以指導擴散生成過程。
實驗
Evaluation Metrics
給定一個發型參考圖像和一個發色參考圖像，發型移植的目的是將相應的發型和發色屬性應用到輸入圖像中。將本文的方法與當前最先進的方法進行了比較，包括：Barbershop、SYH、HairFastGAN、hairclip 和 hairclipv2。所有比較算法均使用其官方實現中的默認參數。
為了全面和客觀地評估每種算法在發型移植不同方面的性能，本文計算了源圖像和生成的目標圖像的FID指標。發型移植后，源圖像和生成圖像的結構和內容信息應該一致，因此本文使用SSIM指標來評估源圖像和生成的目標圖像之間的結構和內容相似性。此外，本文使用PSNR指標來評估生成圖像的質量，并使用Insightface來評估原始源圖像和生成的目標圖像之間的身份相似性（IDS）。
實驗結果
定性比較。 如下圖6所示，本文對各種發型進行了定性比較實驗?？傮w而言，本文的方法在發型移植的精細度和完整性方面顯著優于其他方法，同時在很大程度上保持了源圖像的結構和身份一致性。
在本文比較的方法中，Barbershop 經常出現簡單的頭發粘貼問題，且頭發和臉部的融合常常顯得不自然（如第三和第四行所示）?！癝tyle Your Hair”和“Hair Fast GAN”在發型移植上表現得相當粗糙，常常忽略頭發細節，并且在有色頭發上顯示出顏色不一致的現象?！癏airclip”和“Hairclip v2”在發型移植能力上表現最弱，難以準確移植參考發型。
相比之下，本文的方法在不同發型和顏色的轉移上始終表現出強大而穩定的能力。本文的方法不僅生成的結果更加精細和完整，而且保持了源圖像的結構完整性和身份一致性，確保了自然和協調的外觀。
定量比較實驗。 實驗使用 CelebA-HQ 數據集作為實驗數據，隨機選擇 2500 張人臉圖像作為輸入，并從剩余的 CelebA-HQ 數據集中選擇相同數量的參考圖像。下表 1 顯示了本文在不同方法上的定量評估?？傮w而言，本文的方法在大多數指標上都超過了以往的方法。具體來說，更高的 SSIM 和 IDS 分數表明 Stable-Hair 在轉移發型的同時，有效地保留了源圖像的內容和身份，展示了本文方法在保持結構和內容一致性方面的優越性。此外，較高的 FID 分數表明本文的方法在轉移后生成了高保真和高度逼真的結果。本文的方法在 PSNR 指標上排名第二。雖然在這一特定指標上略遜于 Hairclip v2，但綜合考慮其他指標，本文的方法仍展示了高圖像保真度和質量。
用戶研究。 考慮到發型移植任務的主觀性，本文進行了全面的用戶研究，涉及 30 名志愿者。具體來說，本文從定量實驗中隨機抽取了 20 組數據，并從社交媒體上選擇了 10 種流行發型作為參考樣式，使用從 FFHQ 數據集中隨機抽取的相應數量的源圖像，通過各種算法創建了額外的 10 組數據。這導致一共生成了 30 組三元組，每組包含一張原始圖像、一張參考圖像和轉移結果。與以往的方法（Wei 等人，2022）一樣，不同算法的測試結果是隨機化的。對于每個測試樣本，志愿者被要求根據三個標準選擇最佳選項：轉移準確性、無關屬性的保留和視覺自然度。下表2中的結果表明，本文的方法在轉移準確性、無關屬性的保留和視覺自然度方面均優于對比方法。
在本文的消融研究中，本文旨在通過系統地去除各個組件并觀察其對性能的影響，徹底調查本文方法中每個模塊的作用。如下圖7所示，結果清楚地表明，使用ControlNet進行像素條件輸入訓練的模型通常會出現顏色差異，特別是在結果的第一列和第三列中。這些差異導致源圖像和目標圖像之間的不一致。
為了解決這個問題，本文提出了Latent ControlNet，它將去除頭發和轉移過程從像素空間映射到潛在空間。這種方法有效地消除了像素條件輸入所觀察到的顏色不一致性，顯著增強了內容保留。此外，本文在第一階段輸出的光頭圖像看起來非常自然，促進了向第二階段的無縫過渡。因此，這導致了非常令人滿意的轉移結果。
跨域轉移結果。 如下圖8所示，本文方法的魯棒性使得發型可以在不同領域之間進行轉移，這是以前的方法無法實現的能力。 這表明了本文方法在發型移植領域的顯著進步。
結論
在本文中，介紹了Stable-Hair，這是第一個使用擴散技術解決發型移植問題的框架。這一方法標志著一個顯著的進步，實現了以前無法實現的穩定且細粒度的真實世界發型移植。Stable-Hair具有一個兩階段的流程。第一階段使用光頭轉換器將源圖像轉換為光頭agent圖像。第二階段包括一個頭發提取器、一個潛在身份網絡（Latent IdentityNet）和頭發交叉注意力層，以準確地將目標發型移植到光頭圖像上。頭發提取器對具有所需發型的參考圖像進行編碼，而潛在身份網絡則保留身份內容和背景一致性。U-Net中的頭發交叉注意力層確保發型移植的精確性和高保真度。廣泛的實驗表明，Stable-Hair實現了商業級的發型移植能力，設立了該領域的新標準。
本文轉自 AI生成未來 ，作者：Yuxuan Zhang等
