?目前，人工智能和深度學習技術正成為文本-圖像生成、超分辨率等應用的重要基礎。

現在，人們可以輸入圖像的高細節描述，從而獲得與給定文本相對應的逼真圖像。

也可以將一幅圖像從低分辨率轉為高分辨率，為圖片生成一系列生動細節。

神經網絡似乎有無窮的能力。那么，這些方法是否能用于時光穿梭呢？

例如，你有沒有想過，如果你自己的照片是在五十年或一百年前拍攝的，會是什么樣子？如果你最喜歡的男演員或女演員出生在一個與他們完全不同的時代，他們會是什么樣子？

時光穿梭第一步：解決數據集難題

鑒于最近StyleGAN在高質量人臉合成和編輯方面的成功，許多工作都集中在使用預先訓練好的StyleGAN模型進行人像編輯。

然而，現有的技術通常會處理定義明確的語義屬性。例如，添加或刪除一個微笑或修改圖片中人像的年齡。

這項工作背后的邏輯是保持這些構成一個人身份的屬性不變，與此同時，用這輛人工智能的馬車送他們回到過去或去往未來。

在這種情況下，人們面對的主要問題是缺乏合適的數據集。眾所周知，即使有完美的神經網絡模型，數據集仍然是每個人工智能研究者的噩夢。

數據不平衡、不充分或不可用是深度學習領域常見的問題，會導致數據偏見或結果不準確。

為了克服這個問題，來自康奈爾大學的華裔科學家Eric Ming Chen（左2）主導的研究團隊創建了FTT（穿越時光的人臉）數據集。

Chen與來自佐治亞大學的華人科學家Jin Sun等人共同發刊，詳細解釋了「穿越時光的人臉」數據集的運作原理。

該數據集中的圖片來自維基共享資源（Wikimedia Commons）。該平臺擁有眾包和開放許可的五千萬張圖片。FTT分析了26,247張19至21世紀的肖像，平均每十年大約有1,900張圖片。

GANs父子層次結構，化身AI「時光機」

這些變化是如何實現的呢？

研究團隊借助了StyleGAN（生成對抗網絡）父子層次結構。特殊之處在于，他們沒有選擇訓練一個涵蓋所有年代的單一模型，而是為每十年的圖像集添加一個子模型，通過訓練模型集更好地綜合每個時期的數據分布。

同時，為了保留被描述者的身份和姿勢，研究團隊采用一個父模型，將這些信息映射到隱空間向量中。

首先，訓練一個StyleGAN模型集，每個年代各設置一個，使用對抗性損失和身份損失來訓練一張混合人臉圖。這張人臉圖是子模型的輸出，經過修改后，該混合圖與父模型的顏色相似。

研究團隊提示，在此過程中，有必要避免由于ArcFace（一種流行的面部識別模型）中的特征計算導致的身份損失的不一致性。由于ArcFace模型只在現代圖像上訓練，研究人員發現它在歷史圖像上的表現很差。

之后，每張真實圖像被投射到十年流形上的一個向量w上（下圖中的1960）。在該向量上，生成器G′t被訓練來將精細化細節轉移到所有的子模型上。最后，在輸入圖像上應用一個掩碼，以鼓勵模型保留人像的面部細節。

在微調全部子模型后，研究團隊發現，FTT的不同年代的子模型（下圖橙色）在發型、妝容發生改變的同時，都成功捕捉到父模型中（下圖藍色）每張圖片的人像特征。

這項全新的合成圖像框架有兩大亮點：首先，它使人像穿越時光的愿望成真；其次，在對人臉進行時光轉換時，該技術還能保留人像的大部分細節。

盡管它在數據集中還存在微小偏差（例如，在20世紀初的圖像中出現了幾個短發的女性），導致輸出圖像的不一致，但與以前的工作相比，這個模型在真實性上有了很大改善。

「穿越時光的人臉」開啟了時光穿梭的第一步。如此高的準確度讓人不禁遐想：這次跨越時光的是人像，那么下次呢？

參考資料：

https://www.marktechpost.com/2022/11/09/latest-artificial-intelligence-ai-research-proposes-a-method-to-transform-faces-through-time/

https://facesthroughtime.github.io/