MIT 提出兩種新型分布式對抗網絡，性能表現超越傳統單點采樣相關方法
麻省理工的 Chengtao Li 等研究人員最近提出了新型的分布式對抗網絡。與傳統的單點采樣的 GAN 方法不同，分布式對抗網絡是對真實的樣本進行操作。他們的實驗也證明了這種結構的對抗網絡更加穩定，并且可以更好地完成模態復原。
論文地址：https://arxiv.org/pdf/1706.09549.pdf
摘要：我們提出了一種用于對抗式訓練的框架，它依賴于一個樣本，而不是像判別過程中的基本單元那樣依靠于一個單一采樣點。受到概率分布間的差異測量(discrepancy measures)和二組樣本測試(twosample tests)的啟發，我們提出了兩個這樣的分布式對抗，可以對樣本進行操作和預測，并且展示了它們是怎樣輕易地在現存模型之上被實施的。很多實驗結果都表明用我們的分布式對抗進行訓練的生成器是更加穩定的，而且與用點態預測判別器訓練的傳統模型相比，它不容易遭受模型失效(mode collapse)的風險。這一框架在領域適應(domain adaptation)當中的應用與當前的***結果相比也有著相當可觀的提升。
圖 1： 用樣本設置來解釋***似然下采樣點判別器的模型失效(mode-collapse)行為的直覺力(intuition)。關于生成點 x 的梯度是由 -1/D (dD/dx) 進行加權，所以靠近第二種類型的點的梯度將由那些***種類型的點的梯度來控制。
圖 2：DAN-S 和 DAN-2S 模型及其相應損失，其中
圖 3：8 個高斯混合函數生成數據的模態復原結果。最右側的分布是真實的數據分布。當用 GAN 訓練生成器的時候僅能夠捕獲 8 個模態中的 1 個，然而在使用 DAN-S 和 DAN-2S 進行訓練的情況下，我們能夠復原所有的 8 種模態。
圖 4：在 MNIST 上用不同模型生成的樣本的類分布。要注意的是我們展示的是 GAN，RegGAN 和 EBGAN 10 個隨機序列中的***的一個，我們根據分布熵(distribution entropy)給了它們一個不公平的優勢。對于 DAN，我們只是簡單地展示了一個隨機序列。RegGAN 和 EBGN 中的***的序列在某種程度上也復原了模態頻率，但是它們在不同序列下的性能表現卻相差很遠，詳見圖 5。
圖 5：2 種不同措施下的模態頻率復原的表現：生成的模態分布的熵，和生成模態分布和標準模態分布的整體偏差距離。DAN 完成了***的而且最穩定的模態頻率復原。
圖 6：在 CelebA 數據集中用 DCGAN，DANS 和 DAN-2S 訓練生成的人臉。
【本文是51CTO專欄機構“機器之心”的原創譯文，微信公眾號“機器之心( id: almosthuman2014)”】
