港中文 MMLab 團隊的這項研究證實了二維 GAN 可以隱式地學得物體的三維結構。研究者提出的方法可以看作一種新的三維形狀生成方法。他們提出了一種新的無監督三維重建方法「Shape-from-GAN」，不依賴傳統方法的對稱性假設，并首次在開放式的建筑等數據集上實現三維重建。該研究已被接收為 ICLR 2021 Oral 論文。

如今，StyleGAN 等對抗生成網絡已經能夠對多種物體生成逼真的二維圖片。然而或許你不知道，這些 GAN 其實知道所生成物體的三維形狀。對二維 GAN 生成的圖像，我們已經可以準確重建其三維結構，并實現旋轉和重光照等圖像編輯效果，如下圖所示：

‍這就是來自香港中文大學、南洋理工大學和香港大學的研究者提出的用二維 GAN 實現無監督三維重建的方法 GAN2Shape。這種「Shape-from-GAN」的范式不需要依賴傳統方法的對稱性假設，適用于多種物體類別，并超越以往方法達到了 SOTA。目前，該論文已被 ICLR 2021 接收為 Oral 論文。論文代碼也已經開源。

論文鏈接：
https://openreview.net/pdf?id=FGqiDsBUKL0

項目鏈接：
https://github.com/XingangPan/GAN2Shape

研究動機

近年來，生成對抗網絡（GAN）在圖像生成任務上取得了巨大的成功。而當我們熱衷于用它創造二維圖像世界時，一個事實是這些二維圖片其實是三維物體在二維圖像平面的投影。

例如，下圖展示了 StyleGAN[1] 可以實現人臉的視角變化（在有人臉視角標注的監督下）。因此，當我們在 GAN 的圖像空間穿梭時，理想情況下這些圖像應當符合物體本身的三維結構。

‍StyleGAN 可以實現人臉的視角變化

因此，一個有趣的問題是，我們能否通過挖掘二維 GAN 中的幾何信息（視角與光照）來重建物體的三維形狀？

‍方法：挖掘并利用 GAN 圖像空間中的視角與光照信息

挖掘 GAN 中的幾何信息并非易事，已有的方法難以對任意物體類別的 GAN 找到視角與光照變量在隱空間中對應的準確方向。為了解決此問題，研究者注意到大多數物體（如人臉、汽車等）具有較「凸」的三維形狀。

因此，他們用橢球作為物體的形狀先驗。雖然此先驗較弱，卻能一定程度上反映出物體的視角與光照變化，從而可以用來引導在 GAN 圖像空間中探索不同的視角與光照。

GAN2Shape 方法總覽

基于這種思想，研究者設計了一種迭代式挖掘并利用 GAN 圖像空間中視角與光照信息的策略，具體步驟如下：

第一步，用初始化的形狀（即橢球）和可微渲染器渲染很多不同視角與光照條件下的「偽樣本」（pseudo samples）；

第二步，用預訓練的 GAN 對偽樣本進行重建，得到其在 GAN 圖像空間的投影，即「投影樣本」（projected samples）。這些投影樣本會繼承與偽樣本類似的視角與光照，同時 GAN 的生成特性會將投影樣本約束在真實圖像空間中，從而消除偽樣本中不真實的畸變與光影；

第三步，將投影樣本作為可微渲染步驟的 ground truth，從而優化物體三維形狀。由于投影樣本中包含了 GAN 學得的物體三維信息，因此物體形狀會更加準確，如上圖中的人臉。

以上步驟結束后，我們可以用優化后的形狀作為初始形狀再重復以上步驟，迭代多次，從而逐步改善形狀直至收斂。

值得一提的是，在上述第二步用 GAN 重建偽樣本時，為了保證重建結果的真實性，研究者提出了一種用 StyleGAN2 的部分 mapping 網絡對隱向量進行約束的方法，更多細節可參閱論文原文。

實驗：二維 GAN 圖像皆可三維化

研究者將 GAN2Shape 分別應用于在人臉、貓臉、車以及建筑上訓練的 StyleGAN2 [1]，結果均可重建出合理的三維形狀，如下圖所示：

下圖為 GAN2Shape 在建筑上的三維重建和重光照結果，以及與 Unsup3d [2] 的對比：

此外，該研究的定量結果同樣顯著超越了其它方法，并且在不使用傳統方法人臉對稱性假設的情況下仍然得到合理的三維重建結果。

由于該方法得到了物體三維形狀和視角光照變化在 GAN 隱空間中的方向，因此可以對圖像進行三維編輯，如下圖所示：

三維圖像編輯結果，包括物體旋轉與重光照。

相較其他無監督用 GAN 實現人臉旋轉的方法，研究者的方法更好地保存了人臉的 identity：

無監督人臉旋轉方法對比。

更多三維重建與編輯結果如下圖所示：