近日，來自 Amazon One 的研究人員提出了一個(gè)訓(xùn)練 GAN 的框架，可以對(duì)生成的圖像進(jìn)行顯式控制。該框架能夠通過設(shè)置確切的屬性（例如年齡，姿勢，表情等）來控制生成的圖像。

Amazon One團(tuán)隊(duì)最近提出了一個(gè)可以對(duì)生成的圖像進(jìn)行顯式屬性控制的GAN訓(xùn)練框架，能夠通過設(shè)置確切的屬性來控制生成的圖像，如年齡、姿勢、表情等。

這篇論文目前已經(jīng)發(fā)布在arxiv上，并且在Google網(wǎng)盤中有相應(yīng)的補(bǔ)充說明。

目前大多數(shù)編輯GAN生成的圖像的方法都是通過利用隱空間解構(gòu)屬性來實(shí)現(xiàn)部分控制，這些屬性是在標(biāo)準(zhǔn)GAN訓(xùn)練后隱式獲得的。這種方法能夠改變某些屬性的相對(duì)強(qiáng)度，但不能顯式地設(shè)置它們的值。

而最近提出的方法，是為顯式的準(zhǔn)確控制人臉屬性而設(shè)計(jì)的，利用可變形的3D人臉模型來實(shí)現(xiàn)GAN中的細(xì)粒度控制能力。

與以往方法不同的是，這種控制不受限于可變形的三維人臉模型參數(shù)，并且可以擴(kuò)展到人臉領(lǐng)域之外。

使用對(duì)比學(xué)習(xí)，獲得了具有明確分解隱空間的GAN。這種分解被用來訓(xùn)練控制編碼器，將人類可解釋的輸入映射到合適的隱向量，從而允許顯式的控制。

在人臉領(lǐng)域，研究人員展示了對(duì)身份、年齡、姿勢、表情、頭發(fā)顏色和照明的控制，還演示了我們的框架在畫像和狗圖像生成領(lǐng)域的控制能力，證明了新的方法在質(zhì)量和數(shù)量上都達(dá)到了SOTA。

在第一階段，構(gòu)建每一個(gè)batch的每個(gè)屬性都有一對(duì)隱向量，共享一個(gè)相應(yīng)的子向量。 除了對(duì)抗性損失外，該批圖像中的每張圖像都會(huì)以對(duì)比的方式，逐個(gè)屬性地與其他所有圖像進(jìn)行比較，并考慮到它的子向量是相同還是不同。

在第二階段，編碼器被訓(xùn)練成將可解釋的參數(shù)映射到合適的隱向量。

在推理階段，是通過將第k個(gè)編碼器輸入設(shè)置為所需值，實(shí)現(xiàn)對(duì)屬性k的顯式控制。

對(duì)光線、角度和表情的顯式控制效果：

研究人員使用了ArcFace提取生成圖像的嵌入向量，具體做法是生成10K個(gè)共享ID屬性的圖像對(duì)和具有不同的姿勢、照明和表情屬性的圖像。

對(duì)發(fā)色和年齡的控制效果：

為了驗(yàn)證模型確實(shí)對(duì)輸出有明確的控制，研究人員進(jìn)行了控制精度的比較。從FFHQ中隨機(jī)選取10K張圖像，并對(duì)其屬性進(jìn)行預(yù)測，以產(chǎn)生一個(gè)在真實(shí)圖像中出現(xiàn)的可行屬性池。

還可以實(shí)現(xiàn)在保持其他屬性不變的情況下，改變繪畫的藝術(shù)風(fēng)格：

對(duì)于喜歡養(yǎng)寵物的人來說，也可以顯式控制生成的狗狗圖像的一些屬性：

同時(shí)，不只可以改變一個(gè)屬性，還可以同時(shí)控制多個(gè)屬性值：

通過測試Amazon One的可控GAN模型，本以為現(xiàn)在的美顏工具已經(jīng)十分好用了，看來未來還會(huì)有更加驚艷的功能可以期待。