祖?zhèn)魅讼裢婕遥绾伟袮I秀出新高度
作者：蕭簫
這個(gè)由感知人像引擎和畫質(zhì)增強(qiáng)引擎組成的系統(tǒng)，不僅能讓照片里的人看起來更好看，畫面質(zhì)感也能得到質(zhì)的提升。
從今往后，合照不必?fù)?dān)心站在邊緣會(huì)變形了：
如今這種硬件所限的bug，正在被一舉解決，且了無痕跡：
除了拯救變形的人臉，還可以有人性化的素顏級(jí)美顏。
比如真實(shí)的你 VS 素顏級(jí)美顏的你：
從臉到脖子的貼心美白，懂你省心的祛痘P圖，但又恰如其分地留下你標(biāo)志性的淚痣，讓分享到朋友圈的你不至于有美顏痕跡的尷尬。
當(dāng)然，5G時(shí)代、短視頻時(shí)代，人像技術(shù)、美顏能力，自然也得與時(shí)俱進(jìn)。
哪怕你的手和過山車一樣抖，拍出的視頻（圖左），也可以和用了幾千塊的穩(wěn)定器一樣清晰。
而這，就是AI可以帶來的最新最前沿人像技術(shù)能力。
并且祖?zhèn)魅讼裢婕遥€把一切all in到了手機(jī)里，把手機(jī)AI人像實(shí)現(xiàn)搞出新高度。
沒錯(cuò)，說的就是OPPO。
怎樣的AI人像新能力？
融合了人臉檢測、面部關(guān)鍵點(diǎn)檢測、超分辨率算法、語義分割、自動(dòng)補(bǔ)幀等一系列前沿AI技術(shù)。
全稱：OPPO FDF全維人像視頻技術(shù)系統(tǒng)。
這也是業(yè)內(nèi)首個(gè)針對(duì)人像視頻拍攝打造的AI影像技術(shù)系統(tǒng)。
這個(gè)由感知人像引擎和畫質(zhì)增強(qiáng)引擎組成的系統(tǒng)，不僅能讓照片里的人看起來更好看，畫面質(zhì)感也能得到質(zhì)的提升。
具體如何做到的，我們一一詳細(xì)解構(gòu)。
所謂感知人像引擎，就是針對(duì)拍攝時(shí)的人像區(qū)域進(jìn)行優(yōu)化，其核心技術(shù)包括AI人臉檢測/關(guān)鍵點(diǎn)檢測、AI超清人像（暗景/長焦拍攝也高清）、OFL膚質(zhì)優(yōu)化、人臉畸變矯正四大項(xiàng)。
這四項(xiàng)技術(shù)，都需要很強(qiáng)很穩(wěn)，不能有偏科。
以人臉檢測為例，這是人像引擎中最基礎(chǔ)的技術(shù)，但經(jīng)過OPPO優(yōu)化后的特征金字塔 （FPN）算法，能在25ms內(nèi)達(dá)到99.78%的人臉識(shí)別準(zhǔn)確率。
而在人臉關(guān)鍵點(diǎn)檢測上，OPPO以296個(gè)點(diǎn)的數(shù)量，實(shí)現(xiàn)了移動(dòng)平臺(tái)上每秒檢測200次 （200fps）的速度，在WFLW數(shù)據(jù)集上實(shí)現(xiàn)了低至4.71%的NME損耗。
至于畫質(zhì)增強(qiáng)引擎，則是一套能保障用戶在絕對(duì)多數(shù)場景下都能拍出滿意的畫面的算法合集。
哪怕畫面抖動(dòng)幅度較大、還是光線不足或過亮，畫質(zhì)增強(qiáng)引擎都能將畫面調(diào)整到更符合用戶偏好的觀感。（你的VLOG必備小能手）
除了在開頭看到的，加入新一代超級(jí)防抖功能以外，畫質(zhì)增強(qiáng)引擎還包括視頻多幀HDR和超級(jí)夜景視頻兩項(xiàng)技術(shù)。
利用視頻多幀HDR拍出來的小姐姐，隨便截一幀都是唯美的藝術(shù)照：
就連拍攝的夜景視頻，也能得到不輸白天的清晰度，甚至比白天有更豐富的色彩度：
這些看似不經(jīng)意的人像拍攝、視頻處理效果，卻是決定作品細(xì)節(jié)的關(guān)鍵。
如何評(píng)價(jià)OPPO最新AI人像技術(shù)？
需要更加深入到核心技術(shù)之源。
這次OPPO，不僅將人像系統(tǒng)做到了極致，還用軟件彌補(bǔ)了硬件上“廣角攝像頭”帶來的不足。
目前AI人像領(lǐng)域，核心技術(shù)水平，可以以處理暗光/長焦拍攝所用的超分辨率計(jì)算作為參考。
簡單來說，超分辨率（Super-Resolution）計(jì)算，是將一組低質(zhì)量、低分辨率的圖像，通過軟硬件，得到一幅高分辨率圖像。
這是當(dāng)前計(jì)算機(jī)視覺技術(shù)中難度最大的領(lǐng)域之一，需要盡可能地平衡圖像的畫質(zhì)與真實(shí)性。
其核心思想，在于用時(shí)間帶寬（獲取同一場景的多幀圖像序列），來換取空間分辨率，實(shí)現(xiàn)時(shí)間分辨率向空間分辨率的轉(zhuǎn)換。
而就在這個(gè)領(lǐng)域，OPPO此次展現(xiàn)的技術(shù)能力，并非“啪的一下很突然”……
CVPR 2020上，OPPO就提出了獨(dú)創(chuàng)的神經(jīng)網(wǎng)絡(luò)架構(gòu)RFB-ESRGAN，利用分布式算法提高計(jì)算效率、并以多元的采樣與計(jì)算模型配合，將模糊的圖片清晰放大了16倍。
當(dāng)時(shí)OPPO還從全球280多個(gè)頂尖參賽團(tuán)隊(duì)中脫穎而出，奪得了“極端超級(jí)分辨率感知”的第一名。
有備而來。
效果也人人可見，經(jīng)過AI處理的人像，眉毛和皮膚都變得更加清晰。
但相比軟件突破解決軟件問題，OPPO的這個(gè)AI系統(tǒng)，還需要關(guān)注的技術(shù)亮點(diǎn)在于——用軟件技術(shù)彌補(bǔ)硬件的先天不足。
例如，在用廣角攝像頭給人拍照的過程中，總有些尷尬之處：
如果不搶C位，你的人臉就可能會(huì)變形。
而且，由于透視投影（Perspective Projection）的近大遠(yuǎn)小原理，變形的往往只有人臉，背景看起來反而比較正常。
以往針對(duì)這種變形臉，通常需要一些職業(yè)P圖大師來處理。
業(yè)內(nèi)也一直在追求——既不會(huì)扭曲背景，又能讓人物恢復(fù)正常的技術(shù)。
而這次OPPO的解決思路，運(yùn)用了球極平面投影 （Stereographic Projection）。
其原理是，把一個(gè)球面投射到平面上，并不忠實(shí)反映距離，卻十分忠實(shí)地反映角度。
不過，單這么一項(xiàng)還無法一蹴而就。
這種投影對(duì)人臉的拉伸并不大，然而背景看起來卻會(huì)變得扭曲。
（投影近處變化小，遠(yuǎn)處變化更大）
所以O(shè)PPO再用上了另一項(xiàng)工序，用AI將兩者結(jié)合。
最終經(jīng)過兩次拍攝處理，加上一個(gè)AI切割算法，就能將“球平面投影”的部分邊緣變形人臉、和“透視投影”的背景結(jié)合起來，實(shí)現(xiàn)人臉的還原。
Anyway，如果你對(duì)技術(shù)原理本身不是很感冒，其實(shí)也沒關(guān)系。
甚至無需清楚知道OPPO這個(gè)AI系統(tǒng)中“感知人像引擎”和“畫質(zhì)增強(qiáng)引擎”的高深之處。
簡單直接，所用所得，可以理解OPPO FDF全維人像視頻技術(shù)系統(tǒng)，就是OPPO放在手機(jī)里的你的專屬化妝師和視頻后期。
是的，專屬，體現(xiàn)在結(jié)果細(xì)節(jié)。
比如開頭提到的AI智能消除瑕疵，業(yè)內(nèi)美顏產(chǎn)品和功能中，都算是標(biāo)配。
然而，將痘痘、皺紋這樣的特征，和淚痣這樣的先天特征進(jìn)行區(qū)分訓(xùn)練，“分階采樣”的智能模型，卻是少之又少。
它體現(xiàn)了技術(shù)和產(chǎn)品團(tuán)隊(duì)對(duì)用戶人性的洞察。如今的社交網(wǎng)絡(luò)發(fā)圖發(fā)視頻，確實(shí)都會(huì)發(fā)之前P一下，但所有人追求的，還是讓P圖痕跡、無跡可尋。
沒有誰想在曬照曬視頻后，被發(fā)現(xiàn)美顏P視頻的硬傷。
另外，還有OFL膚質(zhì)優(yōu)化所需的語義分割技術(shù)，同樣體現(xiàn)這種想用戶所想。
為了將皮膚、頭發(fā)和衣物區(qū)分開來，OPPO的模型通過結(jié)構(gòu)特征提取，將人像分割成臉部、脖子、手部、頭發(fā)、衣物等幾部分。
然而，與常見的美顏語義分割不同，OPPO將臉部、脖子、手部統(tǒng)一歸類為皮膚，一起進(jìn)行優(yōu)化，為的就是避免膚色不均勻的問題。
……
所以如此種種，也能知曉為啥OPPO在人像領(lǐng)域一直引領(lǐng)、功力深厚的真正原因。
一方面是最復(fù)雜最前沿的技術(shù)，另一方面還要有大眾真實(shí)審美觀的洞察，最后交付到用戶手中無感使用。
OPPO的另一面
OPPO的技術(shù)性，通常易于被忽略。
但事實(shí)是，包括手機(jī)攝影攝像在內(nèi)的“華山論劍”領(lǐng)域，OPPO產(chǎn)品和功能之所以爆款常有，都源自技術(shù)底蘊(yùn)和支撐。
在世界知識(shí)產(chǎn)權(quán)組織(WIPO)的專利報(bào)告中，OPPO都是全球榜上靠前的企業(yè)。
最新可查的2019年數(shù)據(jù)，OPPO在全球范圍內(nèi)的排名位居韓國三星和美國高通之后，位居全球第六、中國區(qū)第二。
而具體到人像領(lǐng)域，OPPO的技術(shù)專利，也能最好詮釋這家公司為何在該領(lǐng)域持續(xù)創(chuàng)新和領(lǐng)先。
OPPO官方披露，2012年開始就在人像領(lǐng)域在全球范圍內(nèi)開展專利布局，包括中國、美國、德國、法國、英國、印度以及日韓等25個(gè)國家地區(qū)。OPPO在人像美顏、虛化、防抖、夜景等影像技術(shù)的專利申請(qǐng)總數(shù)超過700件，其中發(fā)明專利占比80%。
然而技術(shù)底色的光芒，此前一定程度上被大眾消費(fèi)電子產(chǎn)品的成功而蓋過。
這其實(shí)也與剛才提及的OPPO的產(chǎn)品理念，密不可分。
講本分、講人性、講用戶體驗(yàn)，追求的是：
在今年OPPO未來科技大會(huì)現(xiàn)場，創(chuàng)始人陳明永還分享了OPPO手機(jī)的初代往事。
還是功能機(jī)時(shí)代，2008年，OPPO第一款手機(jī)在歷時(shí)一年半研發(fā)后，原型機(jī)獲得供應(yīng)鏈和客戶高贊，但最終OPPO團(tuán)隊(duì)卻決定不發(fā)布它，而是花費(fèi)半年在此基礎(chǔ)上重新設(shè)計(jì)，達(dá)到預(yù)期想要的最完美效果。
最終，笑臉手機(jī)問世，一炮而紅，用一款功能機(jī)的最慢推出紀(jì)錄，創(chuàng)造了半年破百萬臺(tái)銷量的業(yè)界佳話。
同樣的理念一以貫之，就有了后來的「充電5分鐘通話2小時(shí)」的快充領(lǐng)先方案，有了自拍、人像攝影領(lǐng)域的江湖地位。
正是這樣的產(chǎn)品理念，從需求、體驗(yàn)，帶動(dòng)了產(chǎn)品的成功。而產(chǎn)品的成功，又讓OPPO可以在更大體量規(guī)模的用戶數(shù)、用戶反饋反饋上迭代技術(shù)和打磨產(chǎn)品。
實(shí)現(xiàn)了數(shù)據(jù)智能背景下，技術(shù)-產(chǎn)品-用戶之間的正向循環(huán)和動(dòng)勢能轉(zhuǎn)換。用戶只需得到最好的產(chǎn)品體驗(yàn)和解決方案，而無需關(guān)注背后技術(shù)的復(fù)雜度和實(shí)現(xiàn)難度。
這也正是OPPO創(chuàng)始人陳明永強(qiáng)調(diào)的本分、致善式創(chuàng)新。
他說本分的力量是從自省出發(fā)，應(yīng)該做什么？做了沒有？
而且思考問題的本質(zhì)，做正確的事。
在商業(yè)特別是消費(fèi)電子領(lǐng)域，友商、競爭和各種“欺瞞奸狠”常被關(guān)注。
但相信本分和致善式創(chuàng)新，就是相信可以通過解決別人的問題、用戶的痛點(diǎn)，實(shí)現(xiàn)多贏。
具體到OPPO，就是希望以科技作為手段，實(shí)現(xiàn)每一個(gè)用戶對(duì)美、想象力和人性的追求。
陳明永認(rèn)為，科技創(chuàng)新如果沒有自我約束機(jī)制，沒有更高的理念做支撐，很可能成為一種負(fù)擔(dān)。
通盤思考中國哲學(xué)“致良知”和西方人性哲學(xué)之后，陳明永提出“科技為人，以善天下”，意以給公司經(jīng)營和科技創(chuàng)新提供一條校驗(yàn)準(zhǔn)繩，以糾偏各種追求短期效益的創(chuàng)新。
同時(shí)，他提醒科技創(chuàng)新過程中要注意規(guī)避因恐懼落后對(duì)手而不關(guān)心人的需求的盲目式創(chuàng)新。
所以從技術(shù)、產(chǎn)品，上升到企業(yè)經(jīng)營，OPPO之道，實(shí)現(xiàn)了一以貫之。
One more thing
最后，這次OPPO大秀技術(shù)和產(chǎn)品實(shí)力的大會(huì)上，還有其他最前沿技術(shù)的一攬子展出。
除了FDF全維人像視頻技術(shù)系統(tǒng)，還有三大前沿應(yīng)用。
一是手機(jī)，OPPO X 2021卷軸屏概念機(jī)：
二是代表下一代交互終端的AR眼鏡，OPPO AR Glass 2021：
以及AR應(yīng)用平臺(tái)，CybeReal全時(shí)空間計(jì)算，這是OPPO的數(shù)字孿生平臺(tái)，能夠提供高精度的全時(shí)定位和場景識(shí)別，實(shí)現(xiàn)物理世界與數(shù)字世界的融合。
另外現(xiàn)場展區(qū)，還有包括3D虛擬人像技術(shù)、AI眼球控制，UWB空間感知技術(shù)等等一系列前沿技術(shù)。
不過，在這一系列的前沿技術(shù)和創(chuàng)新產(chǎn)品里，最令人期待的還是FDF系統(tǒng)。
因?yàn)轳R上就能讓每個(gè)人所見所得。
OPPO官宣：2020年12月，也就是下個(gè)月，搭載FDF全維人像視頻技術(shù)系統(tǒng)的新品就會(huì)發(fā)布。
想直接體驗(yàn)最前沿的AI人像能力和應(yīng)用，不妨拭目以待~
責(zé)任編輯：張燕妮
來源：
量子位
