【51CTO.com原創(chuàng)稿件】 隨著互聯(lián)網(wǎng)+的深入發(fā)展，線下零售業(yè)正迎來(lái)顛覆式發(fā)展、重新洗牌的轉(zhuǎn)折。

[[218255]]

作為在行業(yè)中實(shí)踐線上線下融合的企業(yè)，蘇寧已經(jīng)掌握了智慧零售的先發(fā)優(yōu)勢(shì)，迎來(lái)了全面爆發(fā)的時(shí)刻。

2018 年，蘇寧更是提出了“造極”的發(fā)展方向，意在以極客精神，極速的方式，創(chuàng)造出智慧零售的極物。

“北斗”系統(tǒng)作為一款集大數(shù)據(jù)、人工智能于一體的智慧零售產(chǎn)品，將為蘇寧線下發(fā)展提供強(qiáng)大的技術(shù)支撐。

“北斗”系統(tǒng)建立的初衷

對(duì)于線下門店，經(jīng)營(yíng)好壞的關(guān)鍵因素是什么？總的來(lái)說(shuō)，是門前客流、進(jìn)店客流、成交單數(shù)、銷售額、客單價(jià)等指標(biāo)。

而其中，尤為重要的便是客流，這是實(shí)現(xiàn)銷售經(jīng)營(yíng)目標(biāo)的前提。客流量不僅僅影響店鋪運(yùn)營(yíng)策略，更是成為投資決策、發(fā)展前景和經(jīng)營(yíng)效果評(píng)估的重要依據(jù)。

通過(guò)客流數(shù)據(jù)分析，我們不僅可以了解場(chǎng)所實(shí)時(shí)客流狀態(tài)并預(yù)測(cè)未來(lái)客流發(fā)展情況，而且能夠更好地制定針對(duì)性營(yíng)銷策略、調(diào)整商品、廣告擺放展位、顧客動(dòng)線設(shè)計(jì)等等。

基于此實(shí)際需求，蘇寧“北斗”系統(tǒng)是一款為門店服務(wù)研發(fā)的數(shù)據(jù)產(chǎn)品，依據(jù)線下監(jiān)控視頻數(shù)據(jù)資源，利用視頻圖像識(shí)別技術(shù)，融合視頻處理、圖像處理、模式識(shí)別以及人工智能等多個(gè)領(lǐng)域的技術(shù)，徹底顛覆了一直以來(lái)依賴人工統(tǒng)計(jì)或傳統(tǒng)方式的數(shù)據(jù)統(tǒng)計(jì)方式。

并且提供了一套更為精準(zhǔn)、細(xì)化的門店顧客分析數(shù)據(jù)，為門店的智慧經(jīng)營(yíng)提供一套技術(shù)解決方案。

“北斗”系統(tǒng)平臺(tái)架構(gòu)演進(jìn)

統(tǒng)計(jì)客流一直是門店經(jīng)營(yíng)需求中的一個(gè)痛點(diǎn)，作為經(jīng)營(yíng)管理者，每天首先也是最關(guān)注的是每小時(shí)、每天、每周來(lái)了多少顧客、出去多少顧客、在店多少顧客等等。

為了獲取這份數(shù)據(jù)，蘇寧在這塊需求上大致經(jīng)歷了以下三個(gè)階段：

人力計(jì)數(shù)

早期，我們?yōu)榱双@取各個(gè)門店的客流數(shù)據(jù)，每個(gè)門店都會(huì)在門口安排一個(gè)人員進(jìn)行人工統(tǒng)計(jì)，然后再通過(guò)后臺(tái)系統(tǒng)進(jìn)行維護(hù)，這樣總經(jīng)理、店長(zhǎng)等管理人員可以大概獲取到一個(gè)進(jìn)店人次的數(shù)據(jù)。

然而缺點(diǎn)也很快暴露出來(lái)：

• 統(tǒng)計(jì)人員很難做到長(zhǎng)時(shí)間注意力保持高度集中，導(dǎo)致容易存在漏數(shù)。
• 成本方面，一個(gè)門店多則幾十個(gè)門，少則 4-5 個(gè)門，人力薪資成本比客流設(shè)備投入高很多。

這樣做不僅耗費(fèi)人力而且工作量大，不能形成成套體系的數(shù)據(jù)積累和參考依據(jù)，因此，這個(gè)方案在推行的過(guò)程中慢慢被大家放棄了。

WiFi 計(jì)數(shù)

隨著互聯(lián)網(wǎng)的發(fā)展，WiFi 技術(shù)遍地開花后，每個(gè)門店開始安裝免費(fèi) WiFi，讓來(lái)店顧客通過(guò)連接 WiFi 的方式實(shí)現(xiàn)來(lái)店顧客的計(jì)數(shù)功能。

在技術(shù)上采取手機(jī) MAC 地址進(jìn)行人數(shù)統(tǒng)計(jì)，還可以根據(jù)手機(jī)的 IP 進(jìn)行顧客在店內(nèi)行動(dòng)軌跡的追蹤以及判斷新老顧客。

但弊端是：

• WiFi 客流統(tǒng)計(jì)需要在監(jiān)測(cè)范圍保證 WiFi 信號(hào)都能覆蓋到，并且信號(hào)要穩(wěn)定。
• 顧客的手機(jī)要連接上 WiFi 信號(hào)才能夠作為統(tǒng)計(jì)的來(lái)源。
• WiFi 信號(hào)的偏移較大，偏移在 6-10 米，這樣會(huì)造成數(shù)據(jù)失真。

這三點(diǎn)就嚴(yán)重影響了數(shù)據(jù)的準(zhǔn)確性，無(wú)法保障數(shù)據(jù)的參考價(jià)值和分析意義，從而不具備數(shù)據(jù)的指導(dǎo)意義。

視頻計(jì)數(shù)

隨著人工智能技術(shù)的發(fā)展和成熟，圖像識(shí)別技術(shù)漸漸走向商化應(yīng)用，依據(jù)門店現(xiàn)有的監(jiān)控?cái)?shù)據(jù)，利用視頻識(shí)別技術(shù)，可以實(shí)現(xiàn)將視頻畫面的活動(dòng)物體提取、識(shí)別、跟蹤等，從而獲取到完整的顧客在線下的用戶行為數(shù)據(jù)。

該數(shù)據(jù)不僅全面、完整，而且還覆蓋了全場(chǎng)景的數(shù)據(jù)，有效的支撐了數(shù)據(jù)化的運(yùn)營(yíng)管理，為門店的運(yùn)營(yíng)提供強(qiáng)有力的數(shù)據(jù)依托。

[[218256]]

視頻計(jì)數(shù)的關(guān)鍵主要有以下三個(gè)環(huán)節(jié)：

人臉檢測(cè)

以門店部署的高清攝像頭采集的視頻流作為輸入，可以實(shí)時(shí)檢測(cè)跟蹤畫面中的 20 個(gè)目標(biāo)人臉。

同時(shí)，由于深度學(xué)習(xí)算法的應(yīng)用，對(duì)人臉的多種角度、多種姿態(tài)甚至局部的遮擋，都能輕松檢測(cè)、跟蹤。

***人臉采集

這也是一個(gè)容易忽視的環(huán)節(jié)，門店攝像頭采集視頻流實(shí)際每秒產(chǎn)生 30 幀的畫面，當(dāng)有人員經(jīng)過(guò)的時(shí)候，其實(shí)采集了大量的人臉捕獲數(shù)據(jù)。

我們通過(guò)跟蹤算法跟蹤每個(gè)人員的軌跡，采集一組視頻幀截圖，然后通過(guò)人臉朝向分析、圖像模糊檢測(cè)分析、人臉質(zhì)量打分模型從中挑選出一張質(zhì)量***的人臉照片，并進(jìn)入到下一環(huán)節(jié)。

人臉識(shí)別比對(duì)階段

人臉識(shí)別技術(shù)已相對(duì)成熟，隨著深度學(xué)習(xí)技術(shù)在人臉識(shí)別應(yīng)用中的不斷成熟，各家人臉識(shí)別算法之間的準(zhǔn)確率的差異僅體現(xiàn)在小數(shù)點(diǎn)后幾位。

LFW (Labeled Face in Wild) 是人臉識(shí)別研究領(lǐng)域的最重要人臉圖像評(píng)測(cè)集合之一，其包括 5749 個(gè)人的人臉數(shù)據(jù)，均來(lái)自實(shí)際場(chǎng)景，包含自然的光照、表情、姿勢(shì)、遮擋等干擾因素，甚至包含年齡變化、化妝等復(fù)雜的干擾因素。

目前蘇寧大數(shù)據(jù)中心算法團(tuán)隊(duì)在該數(shù)據(jù)集上達(dá)到 99.70% 的準(zhǔn)確率，與目前該數(shù)據(jù)集***指標(biāo) 99.83% 差距很小，達(dá)到行業(yè)***水準(zhǔn)。

能夠取得這樣的準(zhǔn)確度，有三個(gè)決定性的要素：算法模型、訓(xùn)練數(shù)據(jù)、計(jì)算能力。

對(duì)于線下門店這種大規(guī)模的開集合的人臉識(shí)別應(yīng)用，算法模型面臨的***挑戰(zhàn)就是大規(guī)模一對(duì)多人臉識(shí)別準(zhǔn)確率的問(wèn)題。

為了解決這個(gè)問(wèn)題，首先，我們將標(biāo)準(zhǔn) SoftmaxWithLoss 中的 inner product 去除偏執(zhí)項(xiàng)，同時(shí)對(duì)權(quán)重 w 和神經(jīng)元 x 進(jìn)行 L2 norm，將問(wèn)題轉(zhuǎn)換為角度約束的問(wèn)題。

其次，我們通過(guò)改進(jìn)損失函數(shù)，增加 angle margin，來(lái)提高相同 id 的類內(nèi)相似度，降低不同 id 之間的類間相似度，通過(guò)這種 angle margin 的改進(jìn)，我們可以壓縮大部分 id 的人臉特征子空間。

***，我們認(rèn)為人臉識(shí)別的難點(diǎn)，比如極為相似的人臉識(shí)別問(wèn)題甚至雙胞胎的人臉識(shí)別問(wèn)題，用***全局的約束是無(wú)法滿足 angle margin 分類條件的，這也是為什么 angle-softmax 訓(xùn)練的時(shí)候 loss 會(huì)很大的原因。

針對(duì) angle-softmax 訓(xùn)練的時(shí)候 loss 會(huì)很大這一問(wèn)題，我們?cè)黾恿?metric learning 進(jìn)行微調(diào)，針對(duì) hard example 進(jìn)一步添加局部約束。

具體方法是使用三重?fù)p失函數(shù) tripletloss，使用三幅圖像集合：固定 anchor A、正例圖像 P、反例圖像 N 進(jìn)行訓(xùn)練，目的是讓 A 與 P 的距離小于 A 與 N 的距離。

通過(guò)以上步驟構(gòu)建訓(xùn)練的基于深度殘差卷積神經(jīng)網(wǎng)絡(luò)以及相似 id 差異正則優(yōu)化構(gòu)建的網(wǎng)絡(luò)模型，結(jié)合我們算法自動(dòng)預(yù)標(biāo)注的人臉樣本以及少量的人工校準(zhǔn)構(gòu)建的***別的訓(xùn)練數(shù)據(jù)集，我們將我們的人臉識(shí)別準(zhǔn)確率提升了 7 個(gè)百分點(diǎn)左右。

除了模型的改進(jìn)，同時(shí)我們有 6 臺(tái)高性能的 GPU 服務(wù)器組成的集群可以快速驗(yàn)證迭代算法，使我們的算法模型更新速度從幾周更新一次到十幾小時(shí)更新一次，讓不同的算法合成適配不同的場(chǎng)景，讓算法更精準(zhǔn)。

蘇寧擁有 18 萬(wàn)員工以及幾千家門店，2018 年還計(jì)劃增加 5000 家門店，通過(guò)人臉識(shí)別技術(shù)在蘇寧內(nèi)部以及線上線下的應(yīng)用，我們的人臉識(shí)別算法能力還會(huì)進(jìn)一步的迭代提升。

“北斗”系統(tǒng)建設(shè)的關(guān)鍵點(diǎn)

蘇寧“北斗”系統(tǒng)使用了背景模型 + 人臉識(shí)別+ 3D 深度信息+多目標(biāo)跟蹤 + 深度學(xué)習(xí)網(wǎng)絡(luò)的整套算法解決方案。

在目標(biāo)跟蹤算法上，我們對(duì)當(dāng)前的流行算法做了詳細(xì)的研究。KCF 是一種近期流行的目標(biāo)跟蹤算法。

該算法是在跟蹤過(guò)程中訓(xùn)練一個(gè)目標(biāo)分類器，使用目標(biāo)分類器去檢測(cè)下一幀預(yù)測(cè)位置是否是目標(biāo)，之后再使用新的檢測(cè)結(jié)果去重新訓(xùn)練，以獲得新的目標(biāo)分類器。

卡爾曼濾波是一種經(jīng)典的濾波方法，它是一種利用線性系統(tǒng)狀態(tài)方程，通過(guò)系統(tǒng)輸入輸出觀測(cè)數(shù)據(jù)，對(duì)系統(tǒng)狀態(tài)進(jìn)行***估計(jì)的算法。

我們將單目標(biāo)跟蹤的 KCF 算法擴(kuò)展到多目標(biāo)跟蹤。在客流統(tǒng)計(jì)系統(tǒng)中，在不改變其他框架的基礎(chǔ)上，沿用原有的前景建模和匈牙利匹配。

以前幾幀檢測(cè)出的目標(biāo)為跟蹤目標(biāo)，將多目標(biāo) KCF 跟蹤算法融入其中，實(shí)現(xiàn)多目標(biāo)的同時(shí)跟蹤。

經(jīng)過(guò)詳細(xì)比較發(fā)現(xiàn)，在多目標(biāo)跟蹤時(shí)，KCF 算法存在速度上的缺陷，占用時(shí)間較長(zhǎng)，難以滿足我們實(shí)時(shí)性的要求，因而我們最終還是選用了卡爾曼濾波作為我們的基礎(chǔ)跟蹤算法。

在識(shí)別算法上，我們以基于深度學(xué)習(xí)的 SSD 學(xué)習(xí)網(wǎng)絡(luò)為基礎(chǔ)，根據(jù)實(shí)際情況，進(jìn)行了進(jìn)一步的優(yōu)化和改進(jìn)，并整合到我們的整個(gè)北斗系統(tǒng)當(dāng)中。

依據(jù)蘇寧強(qiáng)大的大數(shù)據(jù)計(jì)算能力和人臉識(shí)別技術(shù)，通過(guò)分析店外和店內(nèi)的用戶屬性及行為信息，不僅可以為店鋪的智能推薦、營(yíng)銷、服務(wù)、以及店鋪的購(gòu)物動(dòng)線、商品及貨架陳列，提升更好的導(dǎo)購(gòu)服務(wù)。

還能促使線下門店實(shí)現(xiàn)數(shù)據(jù)化和智能化，改變門店運(yùn)營(yíng)方式，讓門店具有思考能力，擁有一顆智能的“大腦”。

店外顧客關(guān)注

“進(jìn)店率”是影響門店是否具備吸引力的一個(gè)重要指標(biāo)，我們?nèi)绾斡行У姆治?ldquo;過(guò)客”是怎么樣的一個(gè)群體，對(duì)于目前的線下場(chǎng)景還是一個(gè)“黑盒”。

如何獲知路過(guò)消費(fèi)者有多少，并且他們的特征畫像是什么，目前對(duì)于門店經(jīng)營(yíng)管理者也是一個(gè)急切的需求。

而蘇寧大數(shù)據(jù)團(tuán)隊(duì)利用識(shí)別技術(shù)，結(jié)合人臉識(shí)別、人體輪廓跟蹤、人臉特征點(diǎn)等算法技術(shù)，有效的分析出了路過(guò)人群的數(shù)量、群體規(guī)模、男女和性別分類，以及進(jìn)店人群的特征等數(shù)據(jù)，為門店經(jīng)營(yíng)者制定個(gè)性化的營(yíng)銷策略提供了數(shù)據(jù)支撐和保障。

店內(nèi)顧客關(guān)注

對(duì)于進(jìn)店顧客來(lái)說(shuō)，顧客的來(lái)店動(dòng)機(jī)、行為軌跡、關(guān)注熱點(diǎn)、購(gòu)買意向是門店管理者對(duì)于到店顧客的另一大痛點(diǎn)要求，如何實(shí)現(xiàn)這塊數(shù)據(jù)的采集、分析和應(yīng)用也是“北斗”系統(tǒng)的一大特色。

在算法的層面上，為實(shí)現(xiàn)***的效果，需要配合安裝特定攝像頭，并實(shí)現(xiàn)攝像頭安裝高度和角度的精準(zhǔn)控制。

為了節(jié)省成本，我們使用了店內(nèi)原有的監(jiān)控?cái)z像頭，不改變?cè)械娜魏伟惭b高度和角度。

在算法上，我們首先研究了基于多通道特征的 ACF 算法，將算法進(jìn)行了工程化的實(shí)現(xiàn)，對(duì)算法的精度和速度進(jìn)行了測(cè)量。但是發(fā)現(xiàn)該算法應(yīng)用在我們的場(chǎng)景中時(shí)，精度不能讓人滿意。

為了實(shí)現(xiàn)更高精度與性能的要求，我們使用了深度學(xué)習(xí)中的小網(wǎng)絡(luò)系統(tǒng)，并與檢測(cè)算法中的深度學(xué)習(xí) SSD 模型相結(jié)合。

通過(guò)視頻的采集，將視頻中的目標(biāo)進(jìn)行具體的標(biāo)注，算法的微調(diào)，訓(xùn)練自己的模型等步驟，實(shí)現(xiàn)了熱力圖中的相關(guān)功能。在計(jì)算精度和計(jì)算速度上都達(dá)到了原定的要求。

“北斗”系統(tǒng)的智能化服務(wù)

“北斗”系統(tǒng)下一步將布局的智能化服務(wù)包括：

• 智能導(dǎo)購(gòu)：老客的識(shí)別，通過(guò)提取顧客每次來(lái)店的特征點(diǎn)，當(dāng)顧客下次到來(lái)的時(shí)候，根據(jù)其上期的數(shù)據(jù)為其精準(zhǔn)服務(wù)；新客的引導(dǎo)，根據(jù)新客到店關(guān)注的信息、行進(jìn)的速度進(jìn)一步預(yù)測(cè)顧客需要什么，為其精準(zhǔn)推薦。
• 智能支付：當(dāng)顧客選好自己喜好的商品后，只實(shí)現(xiàn)人臉自動(dòng)支付，提升服務(wù)速度和質(zhì)量。
• 智能預(yù)測(cè)：根據(jù)每日、每周、每月顧客對(duì)商品的關(guān)注度，合理調(diào)整商品出樣及庫(kù)存鋪貨，將為用戶提供更喜歡的商品和更短的取貨服務(wù)。
• 智能防控：重點(diǎn)人群監(jiān)控、踏板監(jiān)控、晚間的燈光開關(guān)監(jiān)控、火災(zāi)監(jiān)控等，為顧客的人身安全和門店的財(cái)產(chǎn)安全保駕護(hù)航。

通過(guò)“北斗”系統(tǒng)，依據(jù)蘇寧大數(shù)據(jù)技術(shù)及視覺(jué)算法將為智能零售注入智慧“大腦”，蘇寧門店將會(huì)越來(lái)越更懂你，打造“知人知面更知心”的智慧門店，為用戶創(chuàng)造***體驗(yàn)，打造***服務(wù)。

[[218263]]

曹林龍，蘇寧易購(gòu)大數(shù)據(jù)技術(shù)專家，目前主要負(fù)責(zé)計(jì)算機(jī)視覺(jué)識(shí)別及分析在蘇寧的應(yīng)用落地。在大數(shù)據(jù)平臺(tái)工具和圖像識(shí)別應(yīng)用等方面擁有多年的實(shí)踐經(jīng)驗(yàn)，曾負(fù)責(zé)過(guò)蘇寧統(tǒng)一數(shù)據(jù)報(bào)表平臺(tái)、大數(shù)據(jù)平臺(tái)的建立，主導(dǎo)過(guò)視頻分析、商品識(shí)別等技術(shù)的應(yīng)用。在數(shù)據(jù)營(yíng)銷方面經(jīng)驗(yàn)豐富，喜歡鉆研、研究和實(shí)踐業(yè)界前沿的數(shù)據(jù)處理和技術(shù)，展現(xiàn)數(shù)據(jù)中蘊(yùn)含的價(jià)值。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】