在數(shù)字內(nèi)容創(chuàng)作、虛擬形象、游戲和增強(qiáng)現(xiàn)實(shí)等領(lǐng)域，肖像生成已成為計算機(jī)圖形學(xué)研究的熱點(diǎn)。盡管近年來肖像生成模型取得了顯著進(jìn)展，能夠生成越來越逼真和吸引人的肖像，但仍面臨諸多挑戰(zhàn)。

今天，給大家介紹一種個性化肖像生成框架IC-Portrait，該框架引入了一種創(chuàng)建逼真肖像圖像的創(chuàng)新方法。通過結(jié)合風(fēng)格參考圖像，該以生成個性化肖像，保持視角一致，并準(zhǔn)確響應(yīng)光照條件。

相關(guān)鏈接

• 論文：http://arxiv.org/abs/2501.17159v1
• 視頻：https://www.youtube.com/watch?v=By-y3IH6ejM

研究背景

肖像生成方法大致可分為兩類：基于提示的樣式化和基于參考圖像的肖像生成。基于提示的樣式化允許用戶通過描述性文本提示來引導(dǎo)生成，但這種方法在保持主體身份特征方面存在挑戰(zhàn)。而基于參考圖像的肖像生成則直接利用現(xiàn)有圖像定義所需樣式，僅改變身份特征，為用戶提供更直觀的界面。然而，現(xiàn)有的肖像生成方法在處理多樣化的用戶照片（如不同的表情、光照條件和妝容）時仍顯不足，導(dǎo)致生成的肖像在身份相似度和質(zhì)量上有所欠缺。

IC-Portrait框架

在不同的側(cè)面圖像中呈現(xiàn)出不同的表情和妝容，展現(xiàn)了人類側(cè)面的多樣性。

IC-Portrait框架核心是預(yù)訓(xùn)練的擴(kuò)散模型在上下文中密集對應(yīng)匹配方面學(xué)習(xí)迅速，這為其兩大設(shè)計提供了靈感。具體來說，IC-Portrait將肖像生成重新表述為兩個子任務(wù)：

1. 光照感知拼接：研究發(fā)現(xiàn)，對輸入圖像進(jìn)行高度遮擋處理（例如80%）可以非常有效地學(xué)習(xí)參考圖像的光照條件，從而生成與參考圖像光照一致性的肖像。
2. 視圖一致性適應(yīng)：利用合成的視圖一致資料集來學(xué)習(xí)上下文中的對應(yīng)關(guān)系，使得參考輪廓能夠被變形到任意姿勢，從而提供強(qiáng)大的空間對齊視圖調(diào)節(jié)。

通過簡單地連接潛在變量形成類似ControlNet的監(jiān)督和建模方式，將這兩種設(shè)計結(jié)合起來，IC-Portrait顯著增強(qiáng)了身份保持的準(zhǔn)確度和穩(wěn)定性。

實(shí)驗(yàn)與評估

與當(dāng)前最先進(jìn)的肖像生成方法比較

極端光照條件下 IC-Portrait 的結(jié)果。

IC-Portrait 的多人設(shè)置。IC-Portrait 通過按順序處理面部，固有地支持多人設(shè)置。

研究人員進(jìn)行了廣泛的實(shí)驗(yàn)評估，結(jié)果顯示，IC-Portrait在定量和定性評價中均優(yōu)于現(xiàn)有的最先進(jìn)方法，特別是在視覺質(zhì)量方面有了特別明顯的改進(jìn)。此外，IC-Portrait還展示了3D感知重光照的能力，進(jìn)一步證明了其框架的有效性和靈活性。

總結(jié)

IC-Portrait框架為個性化肖像生成提供了新的解決方案，通過光照感知拼接和視圖一致性適應(yīng)兩大設(shè)計，實(shí)現(xiàn)了幾乎無損的身份特征保留和光照不變性的肖像生成。這一創(chuàng)新性的框架不僅解決了個性化肖像生成中的諸多難題，還為數(shù)字內(nèi)容創(chuàng)作、虛擬形象等領(lǐng)域帶來了新的可能。