未來,電影配音也能用人工智能了?
一位英國電影導(dǎo)演正在嘗試?yán)萌斯ぶ悄?AI)技術(shù)徹底改變我們觀看外國電影的方式:通過對演員的面部進(jìn)行數(shù)字編輯,讓他們看起來就好像在說將要被配音的那種外語一樣。
斯科特·曼在2015年執(zhí)導(dǎo)了由羅伯特·德尼羅主演的驚悚片《雙面劫匪》,卻被影片的一個(gè)配音版本驚得目瞪口呆。他由此受到啟發(fā),創(chuàng)建了自己的初創(chuàng)企業(yè)。
曼受到了德國馬克斯·普朗克信息研究所的啟發(fā),后者一直致力于通過數(shù)字化手段重新生成面部形象。這項(xiàng)研究促成他去創(chuàng)建了一家公司。該公司使用一種人工智能系統(tǒng)研究演員的頭部、頸部和嘴部動作中數(shù)以百萬計(jì)的細(xì)微變化,能夠從每一幀畫面中積累知識。
這種人工智能工具從影片中提取演員的2D面部圖像,將它復(fù)制成3D形象。新的頭部形象結(jié)合了我們對于人們在使用影片配音語言時(shí)嘴部動作的現(xiàn)有了解。這種工具能夠計(jì)算出某名特定演員在說那種語言時(shí)的嘴部動作,從而創(chuàng)建出一個(gè)新的3D頭部模型用于每一幀畫面。
一旦實(shí)現(xiàn)了這一步,配音演員的錄音就會被輸入系統(tǒng),而圖像也會被重新轉(zhuǎn)換為2D。接下來的潤色工作則交由一個(gè)特效團(tuán)隊(duì)來完成。該公司公布的剪輯顯示,湯姆·漢克斯在電影《阿甘正傳》片段中的口型能夠與用日語、西班牙語和德語配音的臺詞實(shí)現(xiàn)無縫對接。
人工智能系統(tǒng)會掃描電影中的每一幀畫面,觀察一名演員在說話時(shí)的頭部、頸部和嘴部動作。在了解這名演員說話的獨(dú)特方式后,該系統(tǒng)會創(chuàng)建一個(gè)他的頭部3D模型。
然后,工程師們會運(yùn)行一項(xiàng)程序,該程序了解人們在使用配音語言時(shí)的典型嘴部動作,而且能夠計(jì)算出這名演員在使用這種特定語言時(shí)的獨(dú)特嘴部動作。
一名配音演員使用這種新語言的錄音會被輸入該系統(tǒng)。接下來,該系統(tǒng)會創(chuàng)建一個(gè)新的演員頭部3D模型,用于這名演員與這種新語言同步的嘴部和面部動作的每一幀畫面,以確保能夠覆蓋每一個(gè)展現(xiàn)他們說話的攝像角度。這些畫面隨后被置于真人表演的版本上,最后的潤色工作則可以交由一個(gè)特效團(tuán)隊(duì)來完成。