用人臉識(shí)別找到你的“老婆”。

機(jī)器之心報(bào)告，作者:船

自20世紀(jì)70年代以來(lái)，人臉識(shí)別已經(jīng)成為計(jì)算機(jī)視覺(jué)和生物特征識(shí)別領(lǐng)域的研究熱點(diǎn)之一。近年來(lái)，傳統(tǒng)的人臉識(shí)別方法已經(jīng)被基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的深度學(xué)習(xí)方法所取代。目前，人臉識(shí)別技術(shù)廣泛應(yīng)用于安防、商業(yè)、金融、智能自助終端、娛樂(lè)等領(lǐng)域。在行業(yè)應(yīng)用的強(qiáng)烈需求推動(dòng)下，動(dòng)畫(huà)媒體越來(lái)越受歡迎，動(dòng)畫(huà)角色的人臉識(shí)別成為一個(gè)新的研究領(lǐng)域。

雖然動(dòng)畫(huà)形象比較有標(biāo)志性，但也有類(lèi)似的動(dòng)畫(huà)形象和場(chǎng)景。畢竟b站知名up主涼風(fēng)的“一眼認(rèn)出動(dòng)畫(huà)”這種技能并不是很常見(jiàn)。

不行，手動(dòng)不行，那么用人臉識(shí)別進(jìn)行動(dòng)漫人物識(shí)別怎么樣？

最近，愛(ài)奇藝的一項(xiàng)新研究提出了一個(gè)新的基準(zhǔn)數(shù)據(jù)集，名為iCartoonFace。這個(gè)數(shù)據(jù)集由5013個(gè)動(dòng)漫角色的389678張圖片組成，包含ID、包圍盒、姿勢(shì)等輔助屬性。ICartoonFace是目前圖像識(shí)別領(lǐng)域最大的卡通媒體數(shù)據(jù)集，質(zhì)量高、標(biāo)注豐富、內(nèi)容全面，包括相似圖像、遮擋圖像和外觀不同的圖像。

地址:https://arxiv.org/pdf/1907.13394.pdf

在半自動(dòng)標(biāo)記算法的幫助下，研究人員為動(dòng)畫(huà)媒體提供了兩種類(lèi)型的標(biāo)注，即面部識(shí)別和面部檢測(cè)。為了進(jìn)一步研究這個(gè)具有挑戰(zhàn)性的數(shù)據(jù)集，研究人員提出了一種多任務(wù)領(lǐng)域適應(yīng)方法，該方法將人類(lèi)和動(dòng)畫(huà)領(lǐng)域知識(shí)與三種判別正則化方法相結(jié)合。此外，研究者還對(duì)提出的數(shù)據(jù)集進(jìn)行了基準(zhǔn)分析，驗(yàn)證了提出的方法在卡通人物人臉識(shí)別任務(wù)中的優(yōu)越性。

圖1:示意圖1:iCartoonFace嵌入。

與人臉識(shí)別類(lèi)似，卡通人物的人臉識(shí)別也存在一些經(jīng)典問(wèn)題。

如下圖所示，利用iCartoonFace數(shù)據(jù)集可以區(qū)分相似的動(dòng)漫人臉，識(shí)別不同的動(dòng)漫角色:

同一個(gè)動(dòng)漫人物，從不同的角度看，可以認(rèn)定為同一個(gè)動(dòng)漫人物:

即使畫(huà)面中有較重的遮擋，也能識(shí)別出動(dòng)漫人物:

另外，兩張亮度不同的圖片也可以識(shí)別為同一動(dòng)漫人物:

接下來(lái)，我們來(lái)看看這個(gè)研究方法的細(xì)節(jié)。

基于的數(shù)據(jù)集構(gòu)建與分析

半自動(dòng)集成過(guò)程

為了減輕標(biāo)簽的負(fù)擔(dān)，研究人員開(kāi)發(fā)了一種半自動(dòng)算法來(lái)收集iCartoonFace數(shù)據(jù)集并添加注釋。研究框架可以分為三個(gè)階段:

1.分級(jí)數(shù)據(jù)收集

ICartoonFace數(shù)據(jù)集采用分層的方式收集(從動(dòng)漫劇集名稱到動(dòng)漫角色名稱，最后到動(dòng)漫角色形象)。本研究首先形成面向排行榜的動(dòng)漫劇列表。然后根據(jù)列表從網(wǎng)上獲取主要角色，再獲取動(dòng)漫角色列表和對(duì)應(yīng)的動(dòng)漫劇。接下來(lái)，從多媒體下載公開(kāi)可用的圖像，包括圖像、漫畫(huà)書(shū)和視頻源。通過(guò)這種方式，研究人員獲得了數(shù)百萬(wàn)張帶有噪聲標(biāo)簽的圖像，這些圖像被用于后續(xù)的數(shù)據(jù)過(guò)濾過(guò)程。

2.數(shù)據(jù)過(guò)濾

實(shí)際上，在下載的圖像中存在大量不相關(guān)或重復(fù)的數(shù)據(jù)，這給有效數(shù)據(jù)的選擇帶來(lái)了很大的挑戰(zhàn)，尤其是在沒(méi)有任何先驗(yàn)知識(shí)的情況下。因此，本研究借助人工標(biāo)記的人臉對(duì)無(wú)用樣本進(jìn)行粗略過(guò)濾。換句話說(shuō)，我們借用兩個(gè)已有的人類(lèi)知識(shí)來(lái)幫助數(shù)據(jù)過(guò)濾過(guò)程，即人臉檢測(cè)過(guò)濾和人臉識(shí)別過(guò)濾。

3.問(wèn)答手冊(cè)注釋

本研究開(kāi)發(fā)了一個(gè)人工標(biāo)注卡通人臉身份信息的問(wèn)答系統(tǒng)。如圖2所示，在注釋頁(yè)面中，一部分顯示參考圖像，另一部分顯示要標(biāo)記的圖像。注釋器需要確定每個(gè)新圖像是否與參考圖像共享相同的徽標(biāo)。參考形象是專(zhuān)家根據(jù)動(dòng)漫系列和動(dòng)漫人物的名字提供的身份形象。在這個(gè)數(shù)據(jù)集中，有5013個(gè)圖像，這意味著每個(gè)身份都有一個(gè)探針。

數(shù)據(jù)集概述

1.大規(guī)模的

ICartoonFace數(shù)據(jù)集包含來(lái)自1302個(gè)動(dòng)漫相冊(cè)的5013個(gè)動(dòng)漫角色的389678張圖片。這是動(dòng)畫(huà)人臉識(shí)別最大的人工標(biāo)注圖像數(shù)據(jù)集。如圖4(a)所示，該數(shù)據(jù)集中的卡通人物包括來(lái)自日本、中國(guó)、歐洲和美國(guó)的卡通人物。

2.圖片數(shù)量不一致

數(shù)據(jù)集是自然產(chǎn)生的。50%的動(dòng)漫角色圖片不到30張，有的動(dòng)漫角色圖片在500張左右。

3.高質(zhì)量

數(shù)據(jù)集經(jīng)過(guò)人工標(biāo)記后，實(shí)施交叉校驗(yàn)的方法，二次校驗(yàn)的錯(cuò)誤率小于5%。圖4(c)顯示圖像的分辨率大于100 × 100，其中65%的圖像分辨率超過(guò)200 × 200。圖像的清晰度由拉普拉斯矩陣計(jì)算。大多數(shù)樣本的值如圖4(e)所示，并且需要大于100，以確保圖像邊界的清晰度和銳度。

4.豐富的屬性

每幅圖像都提供了人臉包圍盒、身份、區(qū)域、姿態(tài)和性別等信息。圖4(b)和圖4(d)顯示了有關(guān)姿勢(shì)和性別的統(tǒng)計(jì)信息。選擇10，000個(gè)隨機(jī)樣本，并用3D姿勢(shì)信息進(jìn)行注釋。

基于動(dòng)畫(huà)和真人的多角色訓(xùn)練框架

圖5是研究團(tuán)隊(duì)提出的基于動(dòng)畫(huà)和真人的多角色訓(xùn)練框架。該框架主要包括分類(lèi)損失、未知身份拒絕損失和域遷移損失。

其中，為了獲得分類(lèi)特征提取器，研究者使用分類(lèi)損失正則化動(dòng)畫(huà)人臉和真實(shí)人臉?lè)诸?lèi)器對(duì)動(dòng)畫(huà)人臉和真實(shí)人臉進(jìn)行分類(lèi)。未知身份拒絕損失旨在尋找不同域之間無(wú)監(jiān)督正則化的特征重投影。領(lǐng)域適應(yīng)損失是為了減少卡通人臉和真實(shí)人臉之間的領(lǐng)域差距。

實(shí)驗(yàn)

在實(shí)驗(yàn)部分，研究者提出了三個(gè)問(wèn)題并回答了它們。

1.動(dòng)漫人臉用哪種算法最好？

研究人員評(píng)估了幾種常用的算法，包括softmax、SphereFace、CosFace、ArcFace和Focal loss，并在下圖中可視化了相應(yīng)的CMC曲線?？梢钥闯?，ArcFace FL在五種算法中表現(xiàn)最好。

五種算法的CMC曲線。

2.上下文對(duì)于動(dòng)漫人臉識(shí)別有用嗎？

人臉是識(shí)別動(dòng)漫角色的主要部分?！澳樏ぐY”呢？在某些情況下，僅僅依靠動(dòng)漫人物的面部并不足以區(qū)分不同的動(dòng)漫人物。研究人員以不同的比例擴(kuò)大了動(dòng)畫(huà)臉。下圖顯示了更多的上下文信息可以獲得更好的性能。

3.把人臉識(shí)別的知識(shí)轉(zhuǎn)到動(dòng)漫人臉識(shí)別有收獲嗎？

第一次訓(xùn)練的卡通人臉模型準(zhǔn)確率為91.0%。如下圖，加入人臉識(shí)別數(shù)據(jù)后，性能提升到92.4%，對(duì)標(biāo)注過(guò)程有幫助。