【51CTO.com原創(chuàng)稿件】我們臉上每天會浮現(xiàn)出各種表情，快樂、悲傷、恐懼、平靜、憤怒、驚訝、蔑視、厭惡等等，這些表情充斥在我們的日常生活之中。可曾想過，這些表情可以通過情緒識別技術(shù)被提取出來，再應(yīng)用到我們的日常生活當(dāng)中，服務(wù)于我們的生活：當(dāng)你在商場里進(jìn)出不同的店面，看到滿意的商品時快樂、遇到態(tài)度不好的服務(wù)員時厭惡;亦或者，孩子在幼兒園時，遇到喜歡的老師時高興、遇到新奇的事物時驚訝等等，這些面部表情都會被攝像頭記錄下來，然后經(jīng)過情緒識別記錄下來，再應(yīng)用到商場和教學(xué)管理當(dāng)中。

基于情緒識別技術(shù)場景構(gòu)建應(yīng)用框架

蜜棗網(wǎng)與微軟亞研院合作，將情緒識別應(yīng)用到了上述的商場及教育教學(xué)場景中，蜜棗網(wǎng)自身聚焦于應(yīng)用研究，即如何把基礎(chǔ)研究投入實際應(yīng)用中，解決實際的問題。蜜棗網(wǎng)著重于視頻數(shù)據(jù)處理、場景分析算法和行業(yè)深度應(yīng)用方面，也取得了相應(yīng)的研發(fā)專利，而情緒智能則由微軟亞研院提供技術(shù)支持。

情緒識別的理論算法分析

對于情緒識別技術(shù)主要有三個核心環(huán)節(jié):人臉檢測、人臉表情特征提取、人臉表情的情感分類。其中最主要的是人臉表情特征提取。

根據(jù)表情發(fā)生時的狀態(tài)和處理對象來區(qū)分，人臉表情特征提取算法大體分為基于靜態(tài)圖像的特征提取方法和基于動態(tài)圖像的特征提取方法。其中基于靜態(tài)圖像的特征提取算法可分為整體法和局部法，基于動態(tài)圖像的特征提取算法又分為光流法、模型法和幾何法。光照、年齡、圖像分辨率等因素都會影響人臉表情識別的性能，有效提取特征是核心問題。

基于靜態(tài)圖像的特征提取方法

1、整體法

從整體上看，人臉肌肉的變化造成了面部器官的明顯形變，因此出現(xiàn)了從整體角度考慮表情特征的人臉表情識別算法。所運用的算法主要包括主成分分析法(Principal Component Analysis,PCA)、獨立成分分析法(Indenpent Component Analysis，ICA)和線性判別分析法(Linear Discriminant Analysis，LDA)。

·主成分分析法是一種無監(jiān)督方法，其優(yōu)點是不需要待處理樣本的類別信息，同時可以有效地處理高維數(shù)據(jù)。缺點是該方法處理數(shù)據(jù)時產(chǎn)生的協(xié)方差矩陣維數(shù)過高，影響了算法的運行。

·獨立成分分析法屬于無監(jiān)督方法，可以提取像素間隱藏的信息，并且適合非高斯分布的數(shù)據(jù)處理，但是算法的實時性有待提高。

·線性判別分析法屬于有監(jiān)督方法，其特點是充分地保留了樣本的類別結(jié)構(gòu)。

2、局部法

面部肌肉的紋理、皺褶等局部形變所蘊含的信息，有助于精確地判斷表情的屬性。局部法的經(jīng)典方法是Gabor小波法和局部二值模式(Local Binary Pattern,LBP)。

·Gabor小波法在特征提取方面具有良好的視覺特性和生物學(xué)背景。但是該算法需要計算不同尺度和方向的小波核函數(shù)，由此產(chǎn)生的高維特征向量既不利于算法的實時處理，又在一定程度上造成了信息冗余。

·局部二值模式可以更有效地提取人臉表情特征,具有旋轉(zhuǎn)不變性和灰度不變性等優(yōu)點，但高維直方圖影響了算法的實時性，而且該算法產(chǎn)生的二值數(shù)據(jù)容易受到噪聲的干擾。

基于動態(tài)圖像的特征提取方法

動態(tài)圖像的表情特征主要表現(xiàn)在人臉的持續(xù)形變和面部不同區(qū)域的肌肉運動上。目前基于動態(tài)圖像的特征提取方法主要分為光流法、模型法和幾何法。

1、光流法

早期的人臉表情識別算法多采用光流法提取動態(tài)圖像的表情特征，這主要在于光流法具有突出人臉形變、反映人臉運動趨勢的優(yōu)點。連續(xù)幀之間的光流場和梯度場，分別表示圖像的時空變化，實現(xiàn)每幀人臉圖像的表情區(qū)域跟蹤;然后通過特征區(qū)域運動方向的變化，表示人臉肌肉的運動，進(jìn)而對應(yīng)不同的表情。

2、模型法

人臉表情識別中的模型法是指對動態(tài)圖像的表情信息進(jìn)行參數(shù)化描述的統(tǒng)計方法。常用算法主要包括主動形狀模型法(ASM)和主動外觀模型法(AAM)，ASM反映的是圖像的局部紋理信息，而AAM反映的是圖像的全局紋理信息。

3、幾何法

幾何法是在動態(tài)圖像的特征提取中應(yīng)用最廣泛的方法。動態(tài)圖像通過人臉特征點在每幀中的變化反映了表情的完整過程，為幾何計算提供了豐富的信息;而且從動態(tài)圖像中提取的幾何特征對應(yīng)著人臉的不同表情區(qū)域，這些特征適合用于動作單元的識別。

情緒識別的實際應(yīng)用場景

零售業(yè)中情緒識別

蜜棗網(wǎng)的情緒識別系統(tǒng)通過在商場的出入口、客流熱區(qū)等地安裝攝像頭，利用人臉識別技術(shù)進(jìn)行客流去重得到真實的客流量，從而分析男女比例和年齡比例，捕捉冷熱區(qū)和客流動線。利用情緒識別技術(shù)捕捉消費者的滿意度、興趣偏好和體驗變化等個性化的數(shù)據(jù)，從而進(jìn)行消費分層管理和精準(zhǔn)營銷。

幼教中的情緒識別

蜜棗網(wǎng)研制的銳智眼幼兒安全成長智慧分析系統(tǒng)，專注于解決幼教中的教學(xué)效果評估和幼兒成長與安全分析。通過分析兒童的情緒反饋，對教學(xué)效果進(jìn)行全面、長時間的分析，為課程和教師評估提供了客觀指標(biāo)，輔助幼兒園管理者更好地了解園內(nèi)情況，進(jìn)行更有效的管理。同時，為每個兒童記錄個性化檔案，陪伴幼兒安全健康地成長。

采訪的***，蜜棗網(wǎng)技術(shù)團隊負(fù)責(zé)人田楚杰表示，微軟加速器·北京第11期不僅為蜜棗網(wǎng)提供了技術(shù)上的支持，也在渠道拓展方面提供了幫助，并且通過微軟加速器認(rèn)識了很多致力于創(chuàng)新的校友企業(yè)。在品牌宣傳和市場活動推廣方面，微軟加速器·北京第11期也提供了展臺對蜜棗網(wǎng)進(jìn)行了全方位的展示，并且在融資渠道的對接、優(yōu)質(zhì)客戶推薦方面也提供了幫助，使蜜棗網(wǎng)可以獲得這次難得的打磨自己的機會。