一朋友由于工作需要，準(zhǔn)備對(duì)新浪微博進(jìn)行相關(guān)的抓取挖掘。特別是情感分析這一塊，便于他后期的實(shí)驗(yàn)實(shí)踐。實(shí)際上，文本挖掘及分析在未來都會(huì)產(chǎn)生較大的效果。舉一個(gè)簡單的例子，現(xiàn)在地鐵里的每個(gè)人每天都會(huì)去刷新自己的人人好友圈，微信好友消息。而這些消息大部分是基于文本的。如何對(duì)這些原始的消息進(jìn)行挖掘。進(jìn)而為相應(yīng)的精準(zhǔn)營銷做準(zhǔn)備。在以后的營銷中將會(huì)產(chǎn)生重大效果。

原始數(shù)據(jù)

這一部分的內(nèi)容，我們可以通過爬蟲技術(shù)來抓取。通過聚類算法，找到相同話題的所有微博。然后拿來做為原始數(shù)據(jù)。還有就是用戶好友圈內(nèi)的評(píng)價(jià)消息，還有用戶產(chǎn)生的連接消息，等等。這些都可以作為原始數(shù)據(jù)來歸入我們的數(shù)據(jù)庫。

確訂目標(biāo)(商業(yè)理解)

這一步也同時(shí)與業(yè)務(wù)理解要很好的關(guān)聯(lián)起來，首先，我們是要用這些原始數(shù)據(jù)來作什么？比如，我們用情感分析，所有不同用戶對(duì)同一事件的理解。我們要將他們的微博信息里的關(guān)鍵詞找出來。然而進(jìn)行相應(yīng)的查找算法，進(jìn)而確定所有用戶對(duì)這一事件的評(píng)價(jià)。然后，我們要通過用戶的評(píng)價(jià)，找到有二次商業(yè)利用值的客戶。然后確訂為目標(biāo)客戶。

數(shù)據(jù)理解

所抓取到的微博內(nèi)容是什么，里邊帶幾個(gè)鏈接？是用什么符號(hào)與之相連？文字，圖片的分類，另外還有評(píng)論信息是否也有參考價(jià)值。里邊的特殊符號(hào)代表什么？等等。這些信息，那些是對(duì)我們的來說是有用的，如何去用？比如說要從文本中挖掘出關(guān)建字，進(jìn)行相關(guān)的營銷活動(dòng)。從而確定博主的情感動(dòng)向。進(jìn)而可以做些什么？理解我們的數(shù)據(jù)，才能更好的抓取到我們所要使用的數(shù)據(jù)。

模型建立

有人說，搞數(shù)據(jù)挖掘的人就是要來做這一部分的內(nèi)容。你要建立一個(gè)好的模型，那以后的數(shù)據(jù)通過你的這個(gè)模型，那么你所需要的內(nèi)容自動(dòng)地就會(huì)呈現(xiàn)出來。而這一部分也是整個(gè)數(shù)據(jù)挖掘里最難的部分。

比如說我們的微博數(shù)據(jù)，我們可以通過決策樹算法建立模型。***輸出那些關(guān)健字的客戶就是我們的目標(biāo)客戶。又或者，我們可以通過神經(jīng)網(wǎng)絡(luò)的算法建立模型，找到相關(guān)的所的決策項(xiàng)。實(shí)際上，數(shù)據(jù)挖掘所用到的方法很多，也很復(fù)雜，我也是到現(xiàn)在還是沒有弄清楚一些算法的核心思想。但這樣并不影響我們來使用相關(guān)的算法來進(jìn)行挖掘。再者說，現(xiàn)在的挖掘?qū)ο螅嬲螾B內(nèi)容的資料也不是很多的。很多企業(yè)還停留在小型機(jī)的階段。所以，有的時(shí)候，我會(huì)開玩笑的說：數(shù)據(jù)量太小的話，EXECL會(huì)更好一些，然后是ACCESS數(shù)據(jù)庫。再然后就是ORCALE數(shù)據(jù)庫.....

模型建立是一個(gè)比較幸苦的工作，可是如果建立完成后，一般3-5年不會(huì)發(fā)生變化。比如我們現(xiàn)在的信用卡的信用評(píng)分系統(tǒng)。

模型評(píng)估

這一部分內(nèi)容，是進(jìn)行相關(guān)優(yōu)化。也就是說模型建立好了，開始要跑業(yè)務(wù)了。要測試一下看它到底能跑到什么樣的程度。有的時(shí)候，你挖掘了半年，也找到的目標(biāo)客戶，結(jié)果被其他人先用其他方法吸引走了，怎么辦？所以才要有模型評(píng)估這件工作。

先將大數(shù)據(jù)里的一部分?jǐn)?shù)據(jù)，一般是40%拿來先做訓(xùn)練，你也可以拿少量來試一試。然后看完成這些數(shù)據(jù)需要多長時(shí)間。換了其他的算法后，是否可以提高挖掘時(shí)間。一般這一步的數(shù)據(jù)分配要遵守一個(gè)4:3:3的原則，即40%拿來做訓(xùn)練，30%來做測試，另外的30%拿來做驗(yàn)證。綜合來說，才能夠評(píng)價(jià)這個(gè)模型的好壞，以及這個(gè)模型是否能產(chǎn)生它的相應(yīng)價(jià)值。

發(fā)布模型

這是***一步，讓所有微博數(shù)據(jù)進(jìn)行相應(yīng)的算法優(yōu)化。進(jìn)而達(dá)到***的挖掘效果。

在以上的這幾個(gè)步驟中，模型評(píng)估與商業(yè)理解其實(shí)也是相輔相成的，因?yàn)檫@兩個(gè)主要是與數(shù)據(jù)最為密切。而數(shù)據(jù)理解與商業(yè)理解又是相互制約的，很多時(shí)候，我們是有了大數(shù)據(jù)，但是我們找不到我們的所要挖掘的目標(biāo)在那里，這時(shí)就需要不斷的修訂我們的商業(yè)理解與數(shù)據(jù)理解，然而，模型的相關(guān)內(nèi)容，在整個(gè)閉環(huán)的過程中并不顯的那么重要。有的時(shí)候，客戶的一個(gè)很簡單的需求，我們并不一定要用復(fù)雜的技術(shù)來實(shí)現(xiàn)，簡單也許就意味著勝利。

再來說說在文本挖掘中的思路，少量的文本信息。我們可以放在在WORD里用復(fù)制粘貼來完成，多的話可以用EXCEL，再多的話可以用U1，要是還是多就用SAS與R，再多就用其他的了，具體什么軟件，我也沒用過。

博文地址：http://bingyang.blog.51cto.com/533655/1437665