微軟開源的 AI 工具，讓舊照片煥發新生
寫在前面
在 GitHub 熱點趨勢Vol.046 中，HG 介紹過一個微軟開源的 AI 工具——Bringing-Old-Photos-Back-to-Life
它可以讓破損、殘舊的圖片煥發新生，在本周更是獲得近 3k star。 而本文則是項目團隊成員 Ziyu Wan 發布于 Hacker News 的項目介紹，Enjoy it~
概述
我們打算通過深度學習的方法來修復老化嚴重的舊照片。與傳統的監督式學習 supervised learning 的修復任務不同，真實照片的老化更為復雜，合成圖像和真實舊照片之間的領域差距 domain gap 使得網絡無法泛化。因此，我們提出了一種利用真實照片和大量合成圖像對的新型三重域翻譯網絡。具體來說，我們訓練了兩個變分自編碼器 (VAE)，分別將舊照片和干凈照片轉換為兩個潛在空間。 通過合成配對數據來學習兩個潛在空間之間的轉換。因為在緊湊的潛在空間中，domain gap 是封閉的，所以這種翻譯網絡可以很好地泛化為真實照片。
此外，為了解決混雜在舊照片中的多個退化問題，我們設計了一個帶有 partial nonlocal block 的全局分支，用于處理結構性缺陷，如：劃痕、塵點，和一個局部分支，用于處理非結構性缺陷，如：噪點、模糊。兩個分支在潛在空間融合，提高從多個退化問題中恢復舊照片的能力。該方法在相片修復的視覺質量方面優于現有的方法。
架構全覽
-
我們首先訓練兩個變分自編碼器 VAE：VAE1 用于真實照片 r ∈ R 和合成圖像 x ∈ X，通過聯合訓練一個對抗判別器縮小它們的 domain gap；對干凈圖像 y ∈ Y 進行 VAE2 訓練。利用 VAE 將圖像轉換到緊湊的潛在空間。
-
我們了解了在緊湊潛在空間將損壞的圖像恢復到帶 partial non-local block 的干凈照片的映射。
對比圖
更多修復細節
近距離圍觀
團隊成員 Ziyu Wan 對 Bringing-Old-Photos-Back-to-Life 的介紹已經翻譯完畢，感興趣的小伙伴可以去把玩下，項目地址：
- https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life
