竟能讓照片人物動起來唱歌!這AI黑科技被玩壞了
最近,如果你經常刷視頻網站,可能會刷到一些非常神奇卻又帶感的東西,具體來說就是各種人物,例如孫悟空啊、蒙娜麗莎啊,居然都開口唱歌,就像下面的視頻:
這視頻自然不可能是原片,顯然是加工生成的。那么這種視頻是怎么做出來的呢?
其實它用到了一個開源的 AI 項目“Yanderify”。這是一個可以將視頻和照片合成、讓照片按照視頻人臉一樣,表情動起來的神奇項目,就如 Yanderify 項目頁面中的這個動圖所演示的那樣。
從左到右,分別是照片原圖、視頻原片以及合成生成的視頻。那么 Yanderify 具體要怎么操作?今天就來給大家講講!
首先,Yanderify 是基于 Python 的項目,我們先需要安裝 Python。點擊下面鏈接進入 Python 官網,下載安裝即可。
Python 官網:https://www.python.org
如果你的操作系統是 64 位的,那么最好下載 64 位的 Python。以 Windows 系統為例,Python 官網的下載按鈕默認可能會提供 32 位的安裝包,這時候你可以進入到 Download-Windows 頁面中,找到 64 位的安裝包下載。
接著,進入 Yanderify 的 GitHub 頁面。
Yanderify:https://github.com/dunnousername/yanderifier
在其中找到“Release”鏈點,下載最新發布的 Zip 包即可。
Yanderify 無需安裝即可運行,解壓后,雙擊“Start Yanderify”。
運行“Start Yanderify”
Yanderify 的界面非常簡單,一個命令行窗口+一個毫無裝飾的 GUI。我們所需要做的,就是選擇一張圖片素材和一段視頻素材,然后設定輸出路徑。另外,Yanderify 對硬件有一些要求。
Yanderify 支持N卡的 GPU 加速,但要求型號高于 GTX750,而且有 2G 以上的顯存;而如果你用的是A卡的話,Yanderify 沒法使用 GPU 加速,需要勾選“Use CPU”的選項。
Yanderify 的界面
選擇一個視頻、一張照片作為素材
在素材的選擇上,注意不能選擇規格太過高清的圖片和視頻,不然可能軟件會崩潰。
點擊“Go”,Yanderify 就開始合成素材了。不過如果你是第一次使用 Yanderify,那么它還會先下載兩個文件。這兩個文件的下載速度比較慢,這里把這兩個文件的下載地址貼出來,大家可以用下載工具下載。
首次使用需要下載倆文件,比較慢
https://www.adrianbulat.com/downloads/python-fan/s3fd-619a316812.pth
https://www.adrianbulat.com/downloads/python-fan/2DFAN4-11f355bf06.pth.tar
下載完畢后,關閉 Yanderify,把兩個文件放到以下目錄。
C:\Users\用戶名\.torch\models
可以手動下載這兩個文件,放到相應文件夾
然后開啟 Yanderify,就可以正常使用了。
合成中……
到了這里,合成就完成了
Yanderify 的效果如何?筆者簡單合成了一個小視頻,僅供大家參考……
原圖&合成
好了,教程到此為止。這個 AI 的原理是利用機器學習,來識別視頻和圖像的臉部運動,然后將圖片按照視頻,處理成為動畫。
如果你覺得好玩,不妨親手試試吧,惡搞一下朋友還是很有趣的,但可不要用它來傳播虛假信息!