我們?cè)谌粘ＯM(fèi)的決策中，比如選擇去哪家餐廳吃飯、是否購(gòu)買某一件商品時(shí)，除了自身的感覺(jué)之外，我們常常會(huì)參考別人，尤其是已經(jīng)消費(fèi)過(guò)、體驗(yàn)過(guò)的人是什么評(píng)價(jià)。現(xiàn)在的電商平臺(tái)上某件商品的評(píng)論數(shù)動(dòng)輒就上千甚至上萬(wàn)，人工逐條看精力有限，在短暫的決策時(shí)間窗口中，最多只能抽樣查看不超過(guò)20條評(píng)價(jià)，這樣的抽樣結(jié)果總結(jié)出來(lái)的結(jié)論大概率存在偏差，無(wú)法反應(yīng)整體的真實(shí)情況。

那有沒(méi)有大數(shù)據(jù)的方法，可以保證獲得最全面最客觀的評(píng)價(jià)，而不是管中窺豹呢？

幸運(yùn)的是打分機(jī)制很早就被發(fā)明出來(lái)了，所有人都可以對(duì)某一件商品的整體情況在1-5分的評(píng)分體系中，給出一個(gè)綜合評(píng)價(jià)，再按一人一票制取平均值，用得到的平均分來(lái)反映商品在所有人群中的整體評(píng)價(jià)，簡(jiǎn)潔民主。

但這樣簡(jiǎn)單粗暴的評(píng)分方式無(wú)法體現(xiàn)出用戶對(duì)商品的詳細(xì)評(píng)價(jià)，舉個(gè)簡(jiǎn)單的例子，同樣是5分的評(píng)價(jià)餐廳，有的人覺(jué)得是因?yàn)椴似房谖逗茫瑢?duì)自己的胃口，有的人覺(jué)得是因?yàn)橛貌铜h(huán)境舒適，和女神度過(guò)了一個(gè)浪漫的夜晚。所以本文就分享一個(gè)深度學(xué)習(xí)的方法，從評(píng)論中提取出用戶的觀點(diǎn)，比如從某火鍋店的評(píng)價(jià)“環(huán)境蠻好，沒(méi)有很重的香料味道，上菜快，不用調(diào)料也好吃”中提取出“環(huán)境好，上菜快”的評(píng)價(jià)標(biāo)簽，并和其他有類似標(biāo)簽的評(píng)價(jià)聚類。

本文分享一種用word2vec模型，將詞語(yǔ)訓(xùn)練成詞向量，作用就是將人類使用的自然語(yǔ)言（相對(duì)于計(jì)算機(jī)可理解的編程語(yǔ)言）中的字詞，轉(zhuǎn)換為計(jì)算機(jī)可以理解的稠密向量（Dense Vector）。在word2vec出現(xiàn)之前，自然語(yǔ)言處理經(jīng)常把字詞轉(zhuǎn)為離散的單獨(dú)的符號(hào)（One-hot Vector）

比如上圖的例子，在語(yǔ)料庫(kù)中，四個(gè)城市各對(duì)應(yīng)一個(gè)向量，向量中有且只有一個(gè)值為1，其他位置都為0

但是用One-hot Vector會(huì)有兩個(gè)問(wèn)題，***，城市編碼是隨機(jī)的，向量之間相互獨(dú)立，看不出城市之間可能存在的關(guān)聯(lián)關(guān)系。其次，向量維度的大小取決于語(yǔ)料庫(kù)中字詞的多少。如果將世界所有城市名稱對(duì)應(yīng)的向量合為一個(gè)矩陣的話，那這個(gè)矩陣過(guò)于稀疏，占用大量空間。Word2Vec可以將One-hot Vector轉(zhuǎn)化為低維度的連續(xù)值，也就是稠密向量，并且其中意思相近的詞將被映射到向量空間中相近的位置。

上圖是將訓(xùn)練好的詞向量降維后映射到二維平面的城市間的關(guān)系，可以看出亞洲的城市聚集在右上方而美國(guó)的城市聚集在左下方

Word2vec模型訓(xùn)練好后，每個(gè)詞都有與其對(duì)應(yīng)的一個(gè)多維向量，向量的維數(shù)可以作為參數(shù)人工設(shè)定，一般情況下維數(shù)越高，詞與詞之間的關(guān)系就可以被描述的越準(zhǔn)確，當(dāng)然訓(xùn)練模型所需的硬件和時(shí)間成本自然也更高，與其他模型一樣，需要在表現(xiàn)和成本之間人工確定一個(gè)平衡點(diǎn)。以訓(xùn)練某手機(jī)游戲的評(píng)論文本為例，用python genism包提供的Word2vec模塊作為訓(xùn)練工具，預(yù)測(cè)“畫面”，“音效”兩個(gè)詞的top20近義詞結(jié)果如下

在模型結(jié)果的基礎(chǔ)上進(jìn)行人工篩選后，可以總結(jié)出“畫工”，“畫面質(zhì)量”，“音響效果”，“音樂(lè)感”，“節(jié)拍”等詞都可以作為近義詞添加到人工建立的近義詞詞典中。

除了近義詞之外，word2vec模型還支持預(yù)測(cè)與輸入詞出現(xiàn)概率***的協(xié)同詞，下圖顯示的是與“畫面”，“音效”一同出現(xiàn)頻率***的top20協(xié)同詞，可以再模型結(jié)果的基礎(chǔ)上篩選出“精美”，“唯美”，“細(xì)膩”等形容畫面的評(píng)價(jià)，和“震撼”，“逼真”等形容音效的評(píng)價(jià)。

再重復(fù)向模型輸入類似“畫面”，“音效”等可以用來(lái)評(píng)價(jià)游戲的維度后，就可以將構(gòu)建完整的近義詞詞典作為依據(jù)，聚類具有相似觀點(diǎn)的評(píng)論文本。

整個(gè)流程可以整理為以下這張流程圖

做過(guò)模型的同學(xué)都知道，模型只是工具，人工的部分才是區(qū)分整套系統(tǒng)質(zhì)量和表現(xiàn)的關(guān)鍵。這套觀點(diǎn)提取系統(tǒng)中需要人工處理的地方包括，數(shù)據(jù)（語(yǔ)料庫(kù)）的選擇，數(shù)據(jù)預(yù)處理，其中預(yù)處理又分分詞，去停詞，去除噪音數(shù)據(jù)等細(xì)節(jié)，人工提供評(píng)價(jià)維度的種子詞（上文提到的“畫面”，“音效”等），篩選模型輸出的近義詞和協(xié)同詞結(jié)果（所有的結(jié)果保存在人工構(gòu)建的詞典中）。

這套系統(tǒng)建立完成后，將新的評(píng)論文本經(jīng)過(guò)預(yù)處理后作為輸入，匹配文本中是否包含詞典中所有的評(píng)價(jià)維度的近義詞和協(xié)同詞，將匹配結(jié)果作為觀點(diǎn)標(biāo)簽標(biāo)注在該條評(píng)論上。這樣我們就可以用模型批量的為評(píng)論文本打上標(biāo)簽，***將所有標(biāo)簽的結(jié)果匯總相加，就能得到無(wú)偏差的，全量的關(guān)于商品的評(píng)論，全面參考評(píng)論意見(jiàn)，輔助購(gòu)買決策。