百度研究院推出AI新神器:只要不到10分鐘,文章自動變視頻
本文經AI新媒體量子位(公眾號ID:QbitAI)授權轉載,轉載請聯系出處。
人工智能技術,現在可以實現自動剪視頻了。
只要有一篇現成的圖文鏈接,AI就可以根據圖文描述的主題,重新組織語言,自動搜尋素材,剪出一條短視頻。
換句話說,如果看到有意思的新聞卻懶得讀文章,那就把你在讀的這篇文章的地址輸入給AI,文章就自動變成了短視頻。
而且,這個過程只需要幾分鐘的時間,完全無人化自動操作,你下樓買了杯咖啡,視頻就自動做好了。
這個“AI做視頻”技術來自百度研究院,產品的名字,叫做VidPress。你看,它可以自己做一條視頻,來報道自己的出生:
看起來就像正常的電視新聞一樣。這下,視頻編輯們再也不用為了搜素材、改腳本、加特效、渲染導出而加班熬夜了。
做視頻的AI
本質上,VidPress是做的事情是“圖文轉視頻”,把人類寫好的圖文稿件重新編輯成視頻,可以參考一下上面視頻內容的原文:

比較之下,你會發現視頻和文章的文案部分都是類似的,但視頻中用到的素材卻遠不止文章中這么少,增加了許多人物和場景的動態鏡頭,而且相當契合主題。
那一定是用語音合成做了配音部分,然后視頻編輯隨手搜了幾個視頻素材放上去了咯?
非也。整個視頻都是AI生成的,視頻編輯只需要給出一篇文章的鏈接,過幾分鐘,熱騰騰的視頻就出鍋了。
不信往下看。
只要有鏈接,視頻自動生成
用VidPress來做視頻,不需要視頻編輯有任何技術背景,會復制粘貼就行。
首先,把需要改成視頻的文章地址復制,粘貼到VidPress。

然后,選擇用哪個聲音合成,確定所需視頻的長度以及分辨率。

現在,視頻編輯就可以放手讓AI開始工作了。
獲得圖文內容后,AI會借助NLP模型進行語義理解,用主題模型聚合相關新聞和素材。

之后,需要分別完成音頻和圖像的編輯工作。
音頻方面,系統會用多種語言模型處理解析原文,生成解說詞,之后借助語音合成技術變成音頻。
而圖像方面,原文中的圖片肯定是不太夠的,需要再搜尋更多視頻和圖片素材。素材的來源可以是視頻編輯自己的素材庫,也可以直接實時的用百度搜索來找素材。
找到素材后,需要借助人臉識別、物體識別、OCR、視頻內容理解等技術來解析理解視頻素材的內容,自動剪切選取合適的片段。
有了視頻素材和解說詞音頻文件,需要把兩者合二為一。在這個任務上,百度自研了兩代對齊算法,第一代對齊算法是基于段落的對齊,第二代則是基于錨點的時間軸對齊算法。
第二代對齊的算法首先需要找出解說詞里觀眾的興趣點,然后再將搜到的素材和這些興趣點,進行相關度打分,綜合考慮素材的來源、相似度、圖片/視頻內容的貼合度、內容質量等方面。

之后,得分高的素材就率先被翻牌子,放到視頻時間軸里興趣點的位置。而剩下的素材就會被填充到空隙里,最后再對整個時間軸的內容分布進行調整。
現在,AI就把視頻做好了,渲染一下,就是一個完整的視頻。
這個過程只花費幾分鐘后。當編輯再次切回VidPress頁面,視頻已經自動生成好了,還自動配好了字幕。
之后,編輯也可以人工修改。如果覺得某一部分的文案不夠好,可以替換編輯成所需的文案重新導出視頻。

勝在速度
誠然,VidPress目前還無法完成真人視頻博主那樣專門策劃拍攝的短視頻作品,但是如果用來做新聞簡訊類視頻,那VidPress的水平已經足夠實現商業應用了,除了沒有真人播音員,做出來視頻的樣子和以前的電視新聞節目十分類似。
但是它勝在速度太快,生成一條視頻可能只要十幾分鐘,而其中一半的時間都是AI在自動工作,人類視頻編輯只要粘貼鏈接,設置好聲音時間分辨率就行了,再也不用苦苦守在電腦前剪視頻了。
可以說,用這種方式來工作,做視頻的時間比往各個平臺發視頻的時間都短,以前一小時的工作,可能現在10分鐘就能完成,再也不用加班熬夜,短視頻編輯們要笑著迎接955了。
有了這樣的剪輯效率,當瓜來了的時候,別的編輯還在哼哧哼哧找素材剪視頻,用VidPress的編輯已經做好了視頻,發給了吃瓜群眾,還沒等撤熱搜就可以收獲10W+,美滋滋。
目前,VidPress生成一個2分鐘左右的720p視頻, 所需時間的中位數僅為2.5分鐘。
而在百度好看視頻內部,整個平臺每天可以生產500到1000條視頻,而且這些視頻所圍繞的新聞熱點都是系統自動發現、自動生成的。只要服務器在跑,即使躺在家里,平臺上就會有源源不斷的視頻出現,并自動分發給觀眾。
如此高的生產效率,簡直是短視頻領域的一記驚雷。
如今短視頻火得一塌糊涂,正處紅利期,無論是騰訊、頭條還是百度自己,都在爭相自研或投資短視頻平臺,這類工具一旦開放,會是大大小小創作者、MCN們爭搶市場的巨大機遇,AI制造的短視頻,會像當年的中國制造一樣,涌入各個視頻平臺,成為新的一波流量收割機。
畢竟,圖文內容的生產成本,可比視頻內容低得多,只要寫好文章,分分鐘就會有配套的視頻出來,同一份辛勤,收獲多幾倍的流量,那么至少在目前階段,這類AI生成視頻就是觸手可得的紅利。
或許不久之后,大家就可以看視頻版的量子位了呢。
傳送門
目前,VidPress平臺可以申請試用,申請鏈接:
https://ai.baidu.com/creation/external/labprojectlist