“特效”已經(jīng)成為抖音用戶在作品投稿時(shí)最常見的玩法，而這些五花八門的特效究竟是怎樣制作出來的，卻鮮有人知。

　　7月28日，抖音聯(lián)合火山引擎在北京舉辦智能特效技術(shù)開放日。火山引擎相關(guān)特效技術(shù)專家分享了抖音特效的生產(chǎn)流程和技術(shù)原理。

　　在影視領(lǐng)域，人們對“特效”并不陌生，而且隨著科技的進(jìn)步，影視特效越來越令人震撼，特別是AI技術(shù)的興起，在動(dòng)畫建模、渲染、編輯合成等特效制作環(huán)節(jié)帶來了巨大的提升。例如大家熟知的《復(fù)仇者聯(lián)盟》系列，就用了機(jī)器學(xué)習(xí)的方法，通過捕捉演員的面部表情來制作滅霸的表情，讓虛擬角色的表情特效達(dá)到非常生動(dòng)、逼真的效果。

　　然而，在另一方面，影視特效的制作成本也非常高。此前有媒體報(bào)道好萊塢視覺大片的特效費(fèi)用至少占總制作費(fèi)的60%以上。即便在如此高的成本之下，效率也并不盡如人意，據(jù)說1秒的特效鏡頭，如果只用一臺(tái)高性能的機(jī)器渲染，可能需要50天之久。

　　考慮到抖音特效的用戶都是普通消費(fèi)者，火山引擎在開發(fā)抖音特效相關(guān)技術(shù)時(shí)嚴(yán)格遵循了兩個(gè)原則：一是要用前沿的技術(shù)來實(shí)現(xiàn)好的特效效果，二是盡量降低特效創(chuàng)作和使用的門檻，讓每個(gè)人都能用特效更好地表達(dá)，做出具有想象力和表現(xiàn)力的內(nèi)容。

　　具體到技術(shù)層面來說，抖音特效主要使用了計(jì)算機(jī)視覺(CV)和計(jì)算機(jī)圖形學(xué)(CG)技術(shù)。

　　其中，CV代表對現(xiàn)實(shí)世界、對真實(shí)畫面內(nèi)容的理解，可以理解畫面里是一個(gè)全身人像、還是只是一只手做了某種手勢;也可以去理解畫面里面有沒有天空、地面或者建筑物等等等。

　　深度學(xué)習(xí)技術(shù)的發(fā)展對于CV技術(shù)有非常大的推動(dòng)作用。深度學(xué)習(xí)是通過人工神經(jīng)網(wǎng)絡(luò)去理解訓(xùn)練樣本內(nèi)在更深層次的規(guī)律，通過數(shù)據(jù)以及模型結(jié)構(gòu)，進(jìn)行結(jié)構(gòu)化的表達(dá)。通過深度學(xué)習(xí)的技術(shù)，可以幫助CV在檢測、分割、智能生成以及SLAM(即時(shí)定位與地圖構(gòu)建)等方面，都可以達(dá)到更好的精度、準(zhǔn)確率以及適應(yīng)面。

　　火山引擎特效技術(shù)專家在分享中也強(qiáng)調(diào)，CV技術(shù)中達(dá)到的“人臉貼合”，有別于日常所說的人臉識(shí)別技術(shù)，它本質(zhì)上是通過對人臉的關(guān)鍵錨點(diǎn)進(jìn)行檢測來實(shí)現(xiàn)，這些點(diǎn)位的信息，無法還原出人的相貌;而且這些點(diǎn)位數(shù)據(jù)，都只是在手機(jī)端上進(jìn)行檢測，不會(huì)上傳到服務(wù)器。

　　除了CV之外，要完成演示中的特效，還需要把一些虛擬的素材，顯示或者疊加渲染到真實(shí)畫面上，這就是CG技術(shù)。

　　比如我們在很多抖音特效中會(huì)看到，畫面中人臉邊上一直有一個(gè)水果，右邊也有很多的水果隨機(jī)飛出，這些水果的動(dòng)畫，還有最后人頭上戴著的3D菠蘿頭飾，都是通過CG技術(shù)疊加上去的。

　　這樣，有了CV與CG技術(shù)之后，可以簡單的生成很多特效。CV提供了對真實(shí)場景的理解，告訴你應(yīng)該在哪里疊加虛擬素材;CG技術(shù)完成虛擬素材的疊加任務(wù)。比如把一頂假的帽子戴在頭上，或者做一個(gè)假的口紅涂在嘴唇上等等，都是如此。

　　但僅有CV和CG技術(shù)，還不能達(dá)到讓用戶以更低門檻使用特效的目標(biāo)。在進(jìn)一步發(fā)展特效技術(shù)的過程中，火山引擎又引入了模版或者劇本的概念，也就是說用戶可以作為主角帶入到故事情節(jié)當(dāng)中，按照一定的規(guī)則最終形成比較高質(zhì)量的視頻。

　　比如在某些特效中，畫面左邊的水果與右邊飛出來的水果進(jìn)行碰撞，就會(huì)變成一個(gè)新的水果，變化多次之后，進(jìn)入到下一個(gè)階段，就會(huì)讓用戶頭上戴了一個(gè)菠蘿的帽子——這就是在一定規(guī)則下，CV與CG之間的互動(dòng)技術(shù)。

　　火山引擎特效技術(shù)專家表示，除了CV、CG、互動(dòng)技術(shù)之外，抖音的特效功能還要通過反復(fù)的工程與產(chǎn)品化的迭代，最終才能夠在抖音當(dāng)中集成、上線，面向所有的用戶。