• 論文地址：https://www.aaai.org/AAAI22Papers/AAAI-7931.LiC.pdf
• 作者單位：中國科學(xué)院計(jì)算技術(shù)研究所、上海交通大學(xué)、之江實(shí)驗(yàn)室

研究背景及研究任務(wù)

生成對抗網(wǎng)絡(luò)（GAN）已經(jīng)在生成高分辨率圖像方面取得了巨大成功，而關(guān)于其可解釋性的研究也在近年來引起了廣泛關(guān)注。

在這一領(lǐng)域，如何令 GAN 學(xué)習(xí)出一個解耦的表征仍是一項(xiàng)重大挑戰(zhàn)。所謂 GAN 的解耦表征，即該表征每個部分只影響生成圖像的特定方面。此前關(guān)于 GAN 解耦表征的研究關(guān)注于不同的角度。

例如，在下圖 1 中，方法 1 解耦了圖像的結(jié)構(gòu)和風(fēng)格。方法 2 學(xué)習(xí)了圖像中局部對象的特征。方法 3 學(xué)習(xí)了圖像中屬性的解耦特征，例如人臉圖像的年齡屬性和性別屬性。然而，這些研究未能在 GAN 中為不同的視覺概念（例如人臉的眼睛、鼻子和嘴巴等部分）提供一個清晰且符號化的表征。

圖 1：與其他 GAN 解耦表征方法的視覺對比

為此，研究者提出了一種將傳統(tǒng) GAN 修改為可解釋 GAN 的通用方法，該方法確保生成器中間層中的卷積核可以學(xué)習(xí)到解耦的局部視覺概念。具體地，如下圖 2 所示，與傳統(tǒng) GAN 相比，可解釋 GAN 中間層中的每個卷積核在生成不同圖像時始終代表一個特定的視覺概念，不同的卷積核則代表不同的視覺概念。

圖 2：可解釋 GAN 與傳統(tǒng) GAN 編碼表征的視覺對比

建模方法

可解釋 GAN 的學(xué)習(xí)應(yīng)滿足以下兩個目標(biāo)：卷積核的可解釋性和生成圖像的真實(shí)性。 

• 卷積核的可解釋性：研究者希望中間層的卷積核能夠自動學(xué)習(xí)有意義的視覺概念，而無需對任何視覺概念進(jìn)行人工標(biāo)注。具體來說，每個卷積核在生成不同圖像時都應(yīng)該穩(wěn)定地生成對應(yīng)于相同視覺概念的圖像區(qū)域。不同的卷積核則應(yīng)該生成對應(yīng)于不同視覺概念的圖像區(qū)域；
• 生成圖像的真實(shí)性：可解釋 GAN 的生成器仍然能夠生成逼真的圖像。

為了確保目標(biāo)層中卷積核的可解釋性，研究者注意到當(dāng)多個卷積核生成與某個視覺概念對應(yīng)的相似區(qū)域時，它們通常聯(lián)合代表了這一視覺概念。

因此，他們使用一組卷積核來共同表示一個特定的視覺概念，并使用不同組的卷積核來分別表示不同的視覺概念。

為了同時確保生成圖像的真實(shí)性，研究者設(shè)計(jì)下述損失函數(shù)來將傳統(tǒng)的 GAN 修改為可解釋的 GAN。 

• 傳統(tǒng) GAN 的損失：該損失用于確保生成圖像的真實(shí)性；
• 卷積核劃分損失：給定生成器，該損失用于找到卷積核的劃分方式，使得同一組中的卷積核生成相似的圖像區(qū)域。具體地，他們使用高斯混合模型 (GMM) 來學(xué)習(xí)卷積核的劃分方式，以確保每組中卷積核的特征圖具有相似的神經(jīng)激活；
• 能量模型真實(shí)性損失：給定目標(biāo)層卷積核的劃分方式，強(qiáng)制同一組中的每個卷積核生成相同的視覺概念可能會降低生成圖像的質(zhì)量。為了進(jìn)一步確保生成圖像的真實(shí)性，他們使用能量模型來輸出目標(biāo)層中特征圖的真實(shí)性概率，并采用極大似然估計(jì)來學(xué)習(xí)能量模型的參數(shù)；
• 卷積核可解釋性損失：給定目標(biāo)層的卷積核劃分方式，該損失用于進(jìn)一步提升卷積核的可解釋性。具體地，該損失會使得同一組中的每個卷積核唯一地生成相同的圖像區(qū)域，而不同組的卷積核則分別負(fù)責(zé)生成不同的圖像區(qū)域。

實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)中，研究者分別定性和定量地評估了他們的可解釋 GAN。

對于定性分析，他們將每個卷積核的特征圖可視化，以評估卷積核在不同圖像上所表示的視覺概念的一致性。如下圖 3 所示，在可解釋 GAN 中，每個卷積核在生成不同圖像時始終生成對應(yīng)于相同視覺概念的圖像區(qū)域，而不同的卷積核生成對應(yīng)于不同視覺概念的圖像區(qū)域。

圖 3：可解釋 GAN 中特征圖的可視化

實(shí)驗(yàn)中還比較了每組卷積核的組別中心和卷積核之間的感受野的區(qū)別，如下圖 4（a）所示。圖 4（b）給出了可解釋 GAN 中不同視覺概念對應(yīng)卷積核的數(shù)目比例。圖 4（c）則表明，當(dāng)選擇劃分的卷積核組數(shù)不同時，組數(shù)越多的可解釋 GAN 學(xué)習(xí)到的視覺概念越詳盡。

圖 4：可解釋 GAN 的定性評估

可解釋 GAN 還支持修改生成圖像上特定的視覺概念。例如，可以通過交換可解釋層中相應(yīng)的特征圖，來實(shí)現(xiàn)圖像之間特定視覺概念的交互，即完成局部 / 全局換臉。

下圖 5 給出了在成對圖像之間交換嘴、頭發(fā)和鼻子的結(jié)果。最后一列給出了修改后的圖像和原始圖像之間的差異。該結(jié)果表明，研究者的方法只修改了局部的視覺概念，而沒有改變其他不相關(guān)的區(qū)域。

圖 5：交換生成圖片的特定視覺概念

此外，下圖 6 還給出了他們的方法在交換整張人臉時的效果。

圖 6：交換生成圖片的整張人臉

對于定量分析，研究者采用人臉驗(yàn)證實(shí)驗(yàn)來評估人臉交換結(jié)果的準(zhǔn)確性。具體而言，給定一對人臉圖像，將原始圖像的人臉替換為源圖像的人臉以生成修改后的圖像。然后，測試修改后圖像的人臉和源圖像的人臉是否具有相同的身份。

下表 1 給出了不同方法人臉驗(yàn)證結(jié)果的準(zhǔn)確性，他們的方法在身份保持方面優(yōu)于其他的面部交換方法。

表 1：換臉身份的準(zhǔn)確性評估

此外，實(shí)驗(yàn)中還評估了方法在修改特定視覺概念時的局部性。具體來說，研究者計(jì)算了 RGB 空間中原始圖像和修改后圖像之間的均方誤差 (MSE)，并以特定視覺概念的區(qū)域外 MSE 和區(qū)域內(nèi) MSE 的比值，作為局部性評估的實(shí)驗(yàn)指標(biāo)。

結(jié)果如下表 2 所示，研究者的修改方法具有更好的局部性，即所修改視覺概念之外的圖片區(qū)域變化較少。

表 2：修改視覺概念的局部性評估

更多的實(shí)驗(yàn)結(jié)果參見論文。

總結(jié)

本工作提出了一種通用方法，可以在無需任何視覺概念的人工標(biāo)注下，將傳統(tǒng)的 GAN 修改為可解釋的 GAN。在可解釋的 GAN 中，生成器中間層中的每個卷積核在生成不同圖像時可以穩(wěn)定地生成相同的視覺概念。

實(shí)驗(yàn)表明，可解釋 GAN 還使得人們能夠在生成的圖像上修改特定的視覺概念，為 GAN 生成圖像的可控編輯方法提供了一個新的角度。