這個GitHub 8000星的AI實時換臉項目有APP了
人類對于角色扮演的熱情永遠不會消退,這也是 AI 換臉廣受追捧的原因。
三個月前,機器之心曾介紹過一個換臉項目 Avatarify。利用這項技術,你可以將自己的臉實時替換成別人的臉,在視頻會議中的表現十分流暢。迄今為止這個項目已在 GitHub 上獲得了 8.5k 的 star 量。

這個項目主要借助今年三月份發布的一篇 arXiv 論文《First Order Motion》,無需事先對目標圖像進行任何訓練,就能用另一個人的視頻來替換自己的圖像。
在使用 Avatarify 時,借助 deepfake 等其他換臉技術,在想要交換的臉部圖像上對算法進行訓練。通過在目標圖像的相似類別上訓練算法,該模型支持實時換臉操作。

一階運動模型整體框架
具體的操作過程也非常簡單:
先導入一張靜態圖片,照片中的五官會隨著視頻中真人動作做出相應的變化,比如挑眉毛、眨眼睛、說話等動作,看起來就像是換了個人在開會。
更方便的是,開發者已經將它做成了 app,目前可在蘋果商店下載。

Avatarify 已上架 APP Store。
這款應用的使用方法依然非常簡單:在 app 中選擇一張圖片,即可開展一番表情操縱,最終生成的就是你想要的人臉視頻了。

也不知道是什么家庭背景,能讓特朗普總統親自為你的朋友送上生日祝福:「Happy birthday, Joe!」
你可以選擇做個人,也可以放棄做人:

還有換臉界最喜歡的蒙娜麗莎:

蒙娜麗莎:「你喜歡我的微笑嗎?」(Do you like my smile?)
試用效果
本著負責任的態度,我們對產品進行了試用。下圖為真實使用效果,沒有加特技的成分,可以看出,眼神轉換和微笑弧度都被成功捕捉到:

除了 APP 提供的圖像以外,你也可以自定義目標頭像,但需要注意將目標頭像裁剪為正方形,并且距離不能太遠也不能太近。最好選擇單一的背景,以最大程度上避免還原失真。
很多用戶在社交平臺上展示了他們的試用成果。雖然在五官動作的捕捉上比較精確,但如果加上仰頭等動作的話,生成結果仍然會出現變形:

下圖中,馬斯克下半部分的臉有點跑偏:

當然這也和使用者的動作有關,表情管理能力越強,越能夠以假亂真。

三個月,從項目創建到產品落地
據 GitHub 項目介紹,這個項目自創建以來持續更新,具體時間表如下所示:
2020.04.13:添加 Windows 支持。
2020.04.15:添加 StyleGAN 生成的頭像(ThisPersonDoesNotExist)。點擊 Q 鍵,即可獲得一張不存在的人的圖像。每點擊一次,即可輕松換頭像。
2020.04.17:創建 Slack 社區。
2020.04.24:添加 Windows 安裝教程。
2020.05.07:針對所有平臺添加遠程 GPU 支持。
2020.05.22:添加 Google Colab 模式,用戶可以在沒有 GPU 的計算機上運行 Avatarify。
2020.07.11:添加 Docker 支持,用戶可以在 Linux 上使用 Docker 運行 Avatarify。
幾天前,Avatarify APP 在蘋果 APP Store 上線。
從項目創建到商業化軟件落地,Avatarify 的作者只用了三個多月的時間。
也許無聊真的是第一生產力。
參考鏈接:
https://github.com/alievk/avatarify#configure-video-meeting-app