[[424532]]

把鞋子的輪 廓圖：

還原成鞋子本體：

需要消耗多少計算量？

用最基本的 Pix2Pix 模型，需要消耗 56.8G ；

而當 Pix2Pix 模型被一種新技術壓縮后，只需要 1.219G ，是原來的 1/46.6，大大節(jié)省了計算量。

這里用到的技術，就是字節(jié)跳動技術團隊在計算機視覺頂會 ICCV 2021 上發(fā)表的 在線多粒度蒸餾算法（Online Multi-Granularity Distillation，簡稱OMGD） 。

這種模型壓縮框架，專治 GAN 模型體積過大、太費算力，目前已經開源了代碼（地址在文末）， 以及 CycleGAN 與 Pix2Pix 的預訓練模型，并且已經在抖音等產品上落地。

和同類模型壓縮算法相比，OMGD 這項新框架，不僅壓得更小，而且壓得更好。

比如在把馬變成斑馬的過程中：

MACs 表示消耗的計算量，括號中的數字為提升倍數

還有把夏天變成冬天：

把被分割的街景圖還原成照片（注意那個騎自行車的人）：

實驗表明，這項技術可以把 GAN 模型的計算量最低減少到原來的 1/46、參數量最低減少到原來的 1/82。

換算一下，就是省掉了 97.8% 的計算量。

OMGD 是怎么實現的

模型壓縮通常用的是「知識蒸餾」的方法，也就是由參數多、體積大的模型作為「教師模型」，來監(jiān)督優(yōu)化參數少、體積小的「學生模型」，讓學生模型在無需擴大體積的的情況下就能獲得教師模型傳授的知識。

OMGD 這項技術則是由兩個分別在神經網絡寬度和深度兩方面互補的教師模型來優(yōu)化一個學生模型，整體 Pipeline 是這樣的：

該框架將不同層次的概念從中間層和輸出層進行轉移，可以在無鑒別器和無 Ground Truth 的設定下進行訓練，實現知識的提煉，對在線蒸餾方案進行了整體優(yōu)化。

在 Pix2Pix 和 CycleGAN 兩大知名模型上的實驗數據表明，OMGD 可以用最少的參數、最低的計算量達到最好的圖像生成效果。

最右側的 FID 分數越小，表明生成效果越好

為什么要把大模型變?。?/h3>

字節(jié)跳動技術團隊相關研發(fā)同學說，這是第一個用在線知識蒸餾來壓縮 GAN 的技術方案，已經在抖音落地。

沒錯，你在抖音里看到的各種好玩的特效道具，背后都需要各種算法模型來運行，尤其是在處理圖像相關的特效上，GAN 是通用的方法，這套 GAN 模型壓縮方案也已經在抖音落地，比如「動態(tài)照片」：

[[424536]]

「舞蹈手套」：

還有「三屏人生」：

[[424538]]

不過，GAN 模型通常體量很大，需要做大量的計算才能完成，想要落地在手機尤其是算力不足的低端機上是很大的挑戰(zhàn)。OMGD 研發(fā)團隊的一位同學說：“我們會衡量模型的覆蓋率，也就是一個模型有多少機型能流暢運行，成功壓縮模型后可以覆蓋更多手機，讓更多人用上，假如原來有的模型可能要 iPhone 11 才能用，壓縮之后 iPhone 7 也能用。”

所以，模型壓縮是個剛需，如何讓 GAN 被更多人用上、更普惠的提供服務，是技術界一直在追求的方向。

字節(jié)跳動技術團隊最早 2017 年投入模型壓縮方面的研究，今日頭條、抖音、剪映、西瓜視頻等多個 App 都有相關技術落地，還曾獲得過 2020 年 IEEE 舉辦的低功耗計算機視覺挑戰(zhàn)賽（LPCV）兩條賽道的冠軍。

在經過 OMGD 壓縮之前，團隊內通常使用蒸餾或剪枝等算法來完成 GAN 模型的壓縮，因為模型需要的輸入分辨率很大，其計算量依舊很大，沒有壓縮到極致。

如何才能實現更極致的壓縮呢？

在研究了海量學術界現有方法之后，字節(jié)跳動技術團隊同學沒有找到適合公司業(yè)務的方法，轉而決定自行研究，創(chuàng)造性地在 GAN 模型壓縮上首次想到了用兩個互補的教師模型來訓練同一個學生模型的方式，并且取得了實驗的成功。

現在，OMGD 在實踐中可以比原來的方法加速 20~30%，甚至有的能達到 80%。

并且，作為可以「在線壓縮」的方法，OMGD 大大降低了 GAN 模型生產的復雜性。這里的「在線」并不是我們日常生活中所指的網絡在線的狀態(tài)，而是指蒸餾過程一步到位地完成，“之前的 GAN 壓縮方法都是分幾步進行的，比如先預訓練，壓縮之后再訓練一遍，之后還有一些其他步驟，整體比較復雜；我們的新方法只要一步就可以完成整個過程，效果也比其他方法好得多。”團隊技術同學說。

現在，這類模型壓縮技術不僅能節(jié)約算力和能源，更能為用戶提供流暢體驗，幫助創(chuàng)作者激發(fā)創(chuàng)造力，豐富生活。

相關鏈接

論文地址：

https://arxiv.org/abs/2108.06908

GitHub 代碼及與訓練模型：

https://github.com/bytedance/OMGD