本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

看過(guò)的動(dòng)漫太多，以至于認(rèn)角色時(shí)有點(diǎn)臉盲？

又或者，只想給自己的二次元老婆剪個(gè)出場(chǎng)合輯，卻不得不在各大搜索引擎搜索關(guān)于她的照片？

試試愛(ài)奇藝推出的這個(gè)卡通人臉識(shí)別基準(zhǔn)數(shù)據(jù)集iCartoonFace，用它訓(xùn)練AI幫你找動(dòng)漫素材，效率分分鐘翻倍。

對(duì)于臉型相近、但角色不同的二次元人物，能準(zhǔn)確識(shí)別出來(lái)（臉盲福音）：

如果人物視角出現(xiàn)變化，也能準(zhǔn)確識(shí)別：

不僅如此，在人臉被大面積遮擋時(shí)，也能準(zhǔn)確地識(shí)別出來(lái)：

至于陰影和光照也不在話下，哪怕站在樹(shù)蔭里，也能被AI“偵測(cè)”：

效果完全不輸現(xiàn)有的真實(shí)人臉識(shí)別。

那么，這樣的技術(shù)是怎么做出來(lái)的呢？

結(jié)合真人數(shù)據(jù)，訓(xùn)練卡通人臉識(shí)別

團(tuán)隊(duì)提出了一種卡通和真人的多人物訓(xùn)練框架，主要包括分類(lèi)損失函數(shù)、未知身份拒絕損失函數(shù)和域遷移損失函數(shù)三部分，如下圖所示。

其中，分類(lèi)損失函數(shù)主要用來(lái)對(duì)卡通臉和真人臉進(jìn)行分類(lèi)。

而未知身份拒絕損失函數(shù)，則是為了在不同域之間進(jìn)行無(wú)監(jiān)督正則化投影。

至于域遷移損失函數(shù)，目的是降低卡通和真人域之間的差異性，對(duì)他們的相關(guān)性進(jìn)行約束。

針對(duì)這個(gè)框架，研究者們探討了三個(gè)問(wèn)題：哪種算法最好？人臉識(shí)別是否有助于卡通識(shí)別？上下文信息對(duì)卡通識(shí)別是否有用？

從實(shí)驗(yàn)結(jié)果來(lái)看，ArcFace+FL的效果最佳，所以此次團(tuán)隊(duì)選用了這個(gè)算法。

至于后兩個(gè)問(wèn)題的答案，也是肯定的。

從下圖的藍(lán)線來(lái)看，加上真人人臉識(shí)別的信息后，對(duì)于卡通檢測(cè)的識(shí)別同樣有幫助。

至于上下文信息，團(tuán)隊(duì)也做了實(shí)驗(yàn)，下圖是算法在卡通人臉基礎(chǔ)上擴(kuò)充不同比例下的性能識(shí)別。實(shí)驗(yàn)證明，上下文信息越豐富，人臉識(shí)別的效果也會(huì)更好。

事實(shí)上，動(dòng)物角色訓(xùn)練出來(lái)的特征樣本，相比于人臉來(lái)說(shuō)，還是有點(diǎn)詭異。

下圖中分別是原圖和對(duì)應(yīng)的特征樣本，相比于動(dòng)漫男生和女生，虹貓的特征顯得有點(diǎn)……不可捉摸。

不過(guò)這也說(shuō)明，一個(gè)標(biāo)準(zhǔn)、大型的動(dòng)漫人臉數(shù)據(jù)集是有必要的。

標(biāo)注數(shù)據(jù)，只需要一步

為了減少人工標(biāo)注的工作量，研究者們?cè)O(shè)計(jì)了一種半自動(dòng)數(shù)據(jù)集構(gòu)建框架，用于構(gòu)建iCartoonFace數(shù)據(jù)集。

如下圖，這個(gè)框架可以分為三個(gè)階段：

首先，對(duì)數(shù)據(jù)進(jìn)行分層收集。先獲取卡通圖片信息，包括專(zhuān)輯和人物名稱(chēng)，再獲取卡通人物圖片，使得數(shù)據(jù)集結(jié)構(gòu)非常清晰。

其次，對(duì)數(shù)據(jù)進(jìn)行過(guò)濾。利用卡通人臉檢測(cè)、特征提取器和特征聚類(lèi)等，對(duì)圖片數(shù)據(jù)進(jìn)行噪聲過(guò)濾。

其中，特征提取器的性能會(huì)發(fā)生變化：隨著標(biāo)注數(shù)據(jù)的增多，性能不斷增強(qiáng)。

最后，標(biāo)注人員只需要做一個(gè)步驟：根據(jù)特征聚類(lèi)的結(jié)果，回答兩張圖片是否是同一個(gè)人物。

目前最大的卡通人物標(biāo)注數(shù)據(jù)集

事實(shí)上，目前已有大量針對(duì)真人的人臉識(shí)別的技術(shù)和算法。

然而，針對(duì)二次元人臉識(shí)別的數(shù)據(jù)集依舊少之又少，大多數(shù)數(shù)據(jù)集存在著噪音比例大、數(shù)據(jù)量小的問(wèn)題。

但這樣的需求的確存在，不局限于對(duì)視頻的結(jié)構(gòu)化分析，還能應(yīng)用于圖片搜索、廣告識(shí)別等場(chǎng)景。

例如，給創(chuàng)作者提供智能剪輯、或者是對(duì)惡搞的諷刺漫畫(huà)、卡通風(fēng)格人物進(jìn)行審核辨識(shí)。

針對(duì)這個(gè)現(xiàn)象，愛(ài)奇藝開(kāi)放了目前全球最大的手工標(biāo)注卡通人物檢測(cè)數(shù)據(jù)集與識(shí)別數(shù)據(jù)集iCartoonFace，包含超過(guò)5000個(gè)卡通人物、40萬(wàn)張以上的高質(zhì)量實(shí)景圖片。

下圖是iCartoonFace與其他已有動(dòng)漫數(shù)據(jù)集的對(duì)比，基于這個(gè)數(shù)據(jù)集設(shè)計(jì)框架，可以有效地提高卡通人物識(shí)別性能。

說(shuō)不定，真能讓廣大觀眾對(duì)動(dòng)漫角色“不再臉盲”。

傳送門(mén)

論文鏈接：
https://arxiv.org/pdf/1907.13394.pdf

數(shù)據(jù)集（在競(jìng)賽數(shù)據(jù)集一欄）：
https://iqiyi.cn/icartoonface