[[419073]]

本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

要說現(xiàn)在什么AI技術(shù)跟大家伙兒走得最近，那真是非AI特效玩法莫屬。

想整張手繪頭像，無需點亮繪畫技能，拿起手機打開APP拍張照，AI“秒秒鐘”幫你自動搞定。

△快手“手繪封面”特效

并且早已不僅僅局限于單張照片，短視頻的每一幀都能用這樣的麻瓜“魔法”絲滑覆蓋。

各種藝術(shù)風(fēng)格，只有你想不到，沒有AI做不到。

不過，別看這些特效濾鏡層出不窮，動不動掀起一波網(wǎng)絡(luò)狂歡，從一個模型的誕生到它真正走進(jìn)你的手機，那背后的故事還真不是三言兩語就能輕松說完的。

特效是怎么進(jìn)到手機里的？

不妨以快手爆火的手繪特效為例，詳細(xì)嘮嘮這件事。

首先，自然還是算法層面的一系列操作。

從用戶拍攝視頻/照片，到AI的“手繪作品”輸出，在AI看來大致是這樣一個流程：

ISP將處理好的視頻/照片發(fā)送給App，AI接收到需要處理的畫面，就會預(yù)先對每一幀畫面進(jìn)行預(yù)處理，統(tǒng)一格式和尺寸。

接下來，就可以開始偵測并剪切畫面中的人臉，運用已經(jīng)定制好風(fēng)格的“藝術(shù)家”神經(jīng)網(wǎng)絡(luò)（如U-Net等）對其進(jìn)行加工。

這一步生成的手繪效果與輸入幀進(jìn)一步融合之后，手繪特效就初步完成了。

當(dāng)然，在正式輸出之前，每一幀畫面還得經(jīng)過一道化妝和美顏的步驟，來提升整體圖像的質(zhì)量。

這時候可能有盆友會問了，現(xiàn)在各種開源生成算法都很成熟，直接搬到手機里，何難之有啊？

非也非也。

且不說為了最大程度保留用戶本人的五官和外形特征，同時兼顧手繪風(fēng)格的美學(xué)和藝術(shù)效果，需要在整體風(fēng)格和局部細(xì)節(jié)上對AI模型進(jìn)行更加嚴(yán)苛的調(diào)教，對于快手這樣的App來說，訓(xùn)練出一個穩(wěn)定好用的模型往往還只是第一步。

更大的困難其實在于手機這個載體本身。

手機作為移動端設(shè)備，本身算力有限。也就是說，AI的手繪能力越強大、技術(shù)越復(fù)雜，對于手機來說，想要流暢不卡頓地運行它，就越困難。

而對于咱用戶來說，如果一開特效就是一頓卡卡卡卡卡，電量哐哐掉，那也就沒有什么樂趣可言了。

另外，像手繪濾鏡這樣的算法，默認(rèn)是在手機CPU上運行的。CPU是一個通用計算單元，本身也并非運行AI工作負(fù)載的最佳選擇。

怎么解決？大體上有如下三種思路。

第一種思路，還是從算法上著手，對模型進(jìn)行壓縮。以快手為例，AI濾鏡背后就都有定制化模型壓縮算法的加持，使其可以在考量各種邊界條件、有限的計算和內(nèi)存資源條件下，把模型計算量降到最低。

不過再怎么在算法上優(yōu)化，硬件層面的限制仍然是無法繞開的問題。

于是就有了第二種思路，上云。許多App提供商都會選擇在云端進(jìn)行復(fù)雜的AI處理，以解決移動端算力不足帶來的挑戰(zhàn)。

但這又引發(fā)了新的問題——在云端計算，就會受到網(wǎng)絡(luò)環(huán)境的影響，導(dǎo)致額外的時延和其他變化，也沒有辦法滿足離線需要。

所以第三種思路，就是直接從SoC硬件廠商這一側(cè)解決問題。

以最常見的高通驍龍移動平臺為例，其搭載的高通AI引擎，就在硬件這一側(cè)，實現(xiàn)了AI計算的加速。

高通AI引擎有啥不一樣？

高通AI引擎，其實就是內(nèi)置于驍龍移動平臺的一套完整軟硬件AI解決方案。

在硬件方面，高通AI引擎采用多核異構(gòu)計算方案，包含：

• Hexagon向量處理器
• Adreno GPU
• Kryo CPU

因此，通過智能調(diào)度CPU、GPU和向量處理器來進(jìn)行AI運算，高通AI引擎能充分發(fā)揮出不同架構(gòu)處理器的優(yōu)點，在實現(xiàn)高算力的同時，最大限度保證能效。

而在軟件方面，高通AI引擎的軟件工具包括：驍龍神經(jīng)處理SDK、Android NN和Hexagon NN。利用這些軟件工具，像視頻平臺這樣的算法開發(fā)方，就能夠快速接入高通AI引擎，充分探索AI算法的性能邊界。

事實上，快手和高通早在驍龍765移動平臺推出時就展開了合作。針對App在移動平臺的性能、功耗、擴(kuò)展性和兼容性等方面的需求，高通神經(jīng)處理SDK能夠以軟件的方式提供支持，并釋放CPU工作負(fù)載，通過Hexagon處理器來實現(xiàn)AI加速。并且，雙方還在模型量化壓縮方面開展了合作，在提升模型性能和能效的同時，確保AI處理的精確度。

由此帶來的效果可以直接用一組數(shù)據(jù)體現(xiàn)：手繪濾鏡幀率（FPS）提升56%，功耗降低32%。

而在今年，隨著新一代驍龍778G移動平臺的推出，雙方的合作還在進(jìn)一步加深。核心圍繞的，就是第6代高通AI引擎。

驍龍778G支持的第6代高通AI引擎包含高通Hexagon 770處理器，算力可達(dá)12TOPS，性能較前代平臺實現(xiàn)翻番。為便于大家參照：蘋果A14為11TOPS。

此外，驍龍778G采用的全新Qualcomm Spectra ISP，支持每秒處理20億像素，能夠為高通AI引擎運行特效算法提供額外加持。

快手Y-tech AI工程組負(fù)責(zé)人邊紅昌針對這項合作，還表示：

與高通技術(shù)公司的出色合作幫助快手突破了AI算法的性能邊界。我們很高興能夠與高通繼續(xù)協(xié)作，充分發(fā)揮驍龍高端芯片的強大異構(gòu)計算能力。通過增強神經(jīng)網(wǎng)絡(luò)性能并提升輸出質(zhì)量，我們將能為用戶提供更具吸引力的應(yīng)用和更高價值。”

“AI大廠”高通？

說起高通，或許你的印象還停留在“一家手機芯片廠”，長于游戲和圖形。

但從手繪濾鏡這個案例中，就不難看出，其實高通早已是一家AI大廠，還是App開發(fā)商們樂于攜手合作的那種。

事實上，早在AI方興未艾之時，高通就已經(jīng)將AI視為技術(shù)發(fā)展的重點。

在2007年，高通旗下的Qualcomm Research就啟動了首個人工智能項目，并于2018年正式成立Qualcomm AI Research。

2015年，搭載第一代高通AI引擎的驍龍820發(fā)布，正式引入高通Hexagon向量擴(kuò)展內(nèi)核，以支持更強大的AI處理能力。

在歷經(jīng)6年的逐年迭代之后，今年同樣搭載第6代高通AI引擎的驍龍888 Plus，已經(jīng)實現(xiàn)了高達(dá)32 TOPS的強大算力。

并且，高通的AI能力或許也比你想象的更深入日常生活。

雖然不像App里的AI特效算法那樣讓人感知強烈，但你的手機、手機應(yīng)用越來越智能背后，或多或少都有高通AI引擎的影子。

最近就有新例子——

搭載了驍龍888系列的榮耀Magic 3，通過場景元素識別和智能匹配、推薦，實現(xiàn)AI影調(diào)推薦功能，讓用戶在手機上也能拍出電影大片的質(zhì)感。

而同樣搭載了驍龍888 Plus的小米MIX4，驚艷的屏下攝像頭落地背后，少不了AI圖像增強算法的加持；更有全景AI翻譯新玩法，帶來同聲傳譯、屏幕翻譯、拍照翻譯、AI字幕等實用AI功能，讓用戶能在刷視頻、線上會議等諸多場景中，都方便體驗到AI“翻譯大師”的服務(wù)……

黑科技有多復(fù)雜？那不是大多數(shù)用戶需要考慮的。

但在高通與其合作廠商的碰撞中，更多的黑科技正在成為生活的常態(tài)。

拿來就完事了，你說呢（手動狗頭）？