?[[421561]]?

馬斯克真是為科研事業奉獻太多！最近以色列的科研人員推出一個新的生成模型StyleCLIP，只需要輸入文本提示符，就可以獲得一個你想要的假圖，例如「化妝」就可以獲得一個精致的馬斯克，或者輸入「短發」給馬斯克換發型，那輸入「女裝」豈不是？

馬斯克又被網友以科研的名義玩壞了，只需要輸入你想要的發型或者膚色的名稱，立刻就能獲得一個相應發型的馬斯克！

例如輸入蒼白的（Pale），就可以獲得一個雪白的馬斯克；輸入曬黑的（Tanned），又可以獲得一個馬斯克日光浴限定版。

輸入化妝、卷發、直發等等，解鎖更多馬斯克肖像，不過第三排的發型，在馬斯克的腦袋上顯得十分違和。

這是一項來自以色列的研究人員的工作StyleCLIP，可以使用基于人工智能的生成對抗性網絡對照片進行超逼真的修改，并且只需要讓用戶輸入他們想要的東西的描述即可，無需輸入特定的圖片。

??https://arxiv.org/pdf/2103.17249.pdf??

這個模型也會產生一些非常搞笑的結果。例如可以給Facebook 的CEO馬克 · 扎克伯格的臉隨意修改，例如讓他看起來禿頂，戴上眼鏡，或者在下巴上扎上山羊胡。

這個「火星人」的臉上似乎也有了一點人類的感覺。

目前代碼已經開源，快玩一玩看看自己適合什么樣的發型吧！

??https://github.com/orpatashnik/StyleCLIP??

StyleCLIP

StyleCLIP模型主要由StyleGAN和CLIP模型組成。

StyleGAN可以在不同領域（domain）生成高度真實圖像，最近也有大量的工作都集中在理解如何使用StyleGAN的隱空間來處理生成的和真實的圖像。

但發現語義上潛在有意義的操作通常需要對多個自由度進行細致的檢查，這需要耗費大量的人工操作，或者需要為每個期望的風格創建一個帶注釋的圖像集合。

既然基于注釋，那多模態模型CLIP（Contrastive Language-Image Pre-training）的能力是否就可以利用上，來開發一個不需要手動操作的基于文本的StyleGAN圖像處理。

例如輸入可愛的貓（cute cat），瞇眼睛的貓就被放大了眼睛，獲取了所有可愛小貓的特征，還可以老虎變獅子等等。

提出三種方法來利用CLIP的語義表達能力：

1、隱優化技術（latent optimization technique）

使用標準的反向傳播方法修改給定的潛編碼，使得生成的圖像和給定的目標文本之間的CLIP-space內距離最小。

2、隱映射（latent mapper）

訓練網絡將輸入的隱編碼轉換為修改生成圖像中文本描述屬性的編碼。這個映射器使用相同的全局CLIP損失進行訓練，從而最小化到目標文本的CLIP-space距離。對于一些劇烈的形狀修改，研究人員發現訓練這樣一個隱映射器可以幫助提高識別結果。

文本引導mapper的架構，在輸入"surprise"后，源圖像被轉換為隱編碼w。訓練三個單獨的映射函數來生成殘差（藍色），這些殘差被添加到w中以生成目標代碼，從中預訓練的樣式（綠色）生成圖像（右側），通過CLIP loss進行評估生成效果。

mapper經過訓練后，可以操作文本提示t所指示的圖像的所需屬性，同時保留輸入圖像的其他視覺屬性。

為了保持原始輸入圖像的視覺屬性，還需要在隱空間中最小化操作步驟的L2范數。

文本提示一次不限于單個屬性，例如可以同時設置頭發屬性的四種不同組合，直發/卷發和短發/長發，每種組合都會產生預期的結果，并且任何先前的方法都無法達到這種控制程度。

由于隱映射器上為每個輸入圖像推斷定制的操作步驟，因此檢查潛在空間中的步驟方向在不同輸入上的變化程度也是很有趣的。

3、全局方向（Global Direction）

通過確定修改哪些維度的隱編碼會導致圖像空間變化，從而發現GAN隱空間中有意義的變化方向。盡管隱映射器允許快速推理，但研究人員發現，當需要細粒度的操作時，有時會出現不足的映射能力。

此外，對于給定的文本提示，不同操作步驟的方向趨于相似。所以需要一種將文本提示映射到單一、全局的StyleGAN樣式空間中的方法，文中提出的方法已被證明比其他隱空間更為有效。

在實驗部分，和其他基于文本驅動的圖像處理方法如TediGAN相比，輸入強指定文本為"Trump", 弱特指"Mohawk", 更常見的文本"without wrinkles"。

對于無皺紋(without wrinkle)的文字提示，Global Direction模型可以成功地消除皺紋，同時保持其他屬性大部分不受影響，而Mapper模型做不到這點。

可以得出結論，對于復雜和特定屬性（尤其是涉及身份的屬性），Mapper能夠產生更好的生成結果。

但對于更簡單和/或更常見的屬性，一個全局方向就足夠了，同時提供了更多的分離操作。

并且可以看到TediGAN產生的結果在三個實驗中都不太理想。

但StyleCLIP也有缺陷，例如依賴于一個預訓練的StyleGAN生成器和CLIP模型來實現聯合語言視覺embedding，因此無法將圖像操縱到某些預訓練模型的域外點。

類似地，映射到到CLIP空間中沒有圖像填充的區域的文本提示也不能期望產生期待的結果。

并且在視覺變化較大的操作是很難實現的，例如，雖然老虎很容易轉化為獅子，但將老虎轉化為狼的成功率較低。