企業(yè)大數(shù)據(jù)分析實踐指南、總結與展望
數(shù)據(jù)無處不在
在我們身處的時代，數(shù)據(jù)無處不在。據(jù)IBM公司估算，我們每天產(chǎn)生約2.5萬ZB的數(shù)據(jù)，這意味著世界上90%數(shù)據(jù)都是過去的兩年中產(chǎn)生的。
Gartner公司分析報告顯示，在2015年財富500強的公司中百分之八十五的企業(yè)無法利用大數(shù)據(jù)來獲取競爭優(yōu)勢。
到2020年，全世界將有上百萬大數(shù)據(jù)相關的就業(yè)機會產(chǎn)生。這些龐大的數(shù)據(jù)蘊藏了寶貴財富，企業(yè)可以使用***進的分析技術，利用這些數(shù)據(jù)更好地了解客戶的行為，識別商業(yè)機會，制定運營戰(zhàn)略。
讓我們舉幾個例子：
金融機構每天通過信用評分模型，了解他們的客戶在未來12個月內每種信貸產(chǎn)品(抵押貸款、信用卡、分期貸款)上的信用。他們以該信用評分為基礎來進行壞帳準備，計算巴塞爾協(xié)議II/III規(guī)定所需資本金數(shù)量，或是制定營銷方案(例如根據(jù)信用評分調整信用卡額度)。
電信運營商使用最近通話行為數(shù)據(jù)建立流失模型，估計客戶在未來一到三個月流失的可能性。
運營商會根據(jù)模型得分來制定營銷活動，避免有價值的客戶流失。
Facebook和Twitter會使用社交媒體分析技術進行內容分析和情感語義分析，以便更好地了解品牌認知度，進一步調整產(chǎn)品服務設計。
亞馬遜和Netflix等在線零售商不斷地分析顧客的購買行為，以決定產(chǎn)品捆綁銷售策略，并利用推薦系統(tǒng)為客戶下一次購買推薦產(chǎn)品。
信用卡公司使用欺詐檢測模型，檢測付款是否具有欺騙性，是否發(fā)生了信用卡盜刷。
政府采用數(shù)據(jù)分析技術來預測逃稅行為，優(yōu)化公共預算分配，分析交通數(shù)據(jù)提高公共交通效率，分析預測恐怖襲擊保障國家安全。
化數(shù)據(jù)為價值
數(shù)據(jù)是任何分析模型成功的基礎。當啟動分析項目時，有必要詳細列出企業(yè)內所有可用于分析的數(shù)據(jù)。這里的原則就是數(shù)據(jù)越多越好!因為很多分析模型都能自動決定哪些數(shù)據(jù)對當前分析很重要，哪些數(shù)據(jù)可以排除在下一步分析之外。
我們的研究不斷印證了這樣一個觀點：改善分析模型***的辦法，就是投資于你的數(shù)據(jù)!這可以通過數(shù)量和質量兩個維度的提升來完成。對于前者，一個關鍵點是如何整合結構化數(shù)據(jù)(例如關系數(shù)據(jù)庫)和非結構化數(shù)據(jù)(如文本)，提供全方位綜合視角進行客戶行為分析的，另一個關鍵點則是在線數(shù)據(jù)和離線數(shù)據(jù)的整合，很多企業(yè)為這個問題所困擾。此外企業(yè)還可以超越其內部邊界，考慮從外部數(shù)據(jù)供應商那里購買外部數(shù)據(jù)，以彌補其內部數(shù)據(jù)的不足。大量的研究表明采用外部數(shù)據(jù)，對比較和完善分析模型非常有用。
雖然數(shù)據(jù)常常體量巨大，但是數(shù)據(jù)質量經(jīng)常是一個痛點。GIGO(garbage in garbage out)的原則在這里非常適用，爛數(shù)據(jù)只會生成爛模型。聽起來顯而易見，然而實踐中數(shù)據(jù)質量往往成為許多分析項目的“阿喀琉斯之踵”。數(shù)據(jù)質量可以分解成很多維度：準確性、完整性、新近度、一致性等。在大數(shù)據(jù)分析中，企業(yè)必須專門制定數(shù)據(jù)質量管理方案，設立數(shù)據(jù)審核員、數(shù)據(jù)管家或數(shù)據(jù)質量經(jīng)理等職位，持續(xù)監(jiān)測數(shù)據(jù)質量。
數(shù)據(jù)分析應該從商業(yè)問題開始，而不是從具體的技術解決方案開始。但是這帶有一絲“雞生蛋，蛋生雞”的意味。要解決商業(yè)問題、識別商業(yè)機會，需要對潛在的技術解決方案有了解。以社交媒體分析為例，只有首先了解分析技術后，公司才能開始思考如何利用它們研究在線品牌認知度，進行趨勢監(jiān)測。為了跨越分析技術和業(yè)務之間的鴻溝，持續(xù)性培訓和學習是關鍵，它能使企業(yè)始終屹立在分析技術的潮頭，保持競爭優(yōu)勢。在這一點上，學術界應該深刻檢討，因為現(xiàn)有的很多大數(shù)據(jù)分析(或數(shù)據(jù)科學)碩士課程無法滿足上述的要求。
將數(shù)據(jù)轉化為洞察力和提升價值的另一個關鍵點是分析模型的驗證。分析模型需要適當?shù)臋C制和工具來進行審核和驗證，越來越多的公司將分析團隊拆分成模型開發(fā)和模型驗證兩個團隊。良好的公司治理能夠在兩個團隊之間筑起一道防火墻，使得由前一小組開發(fā)的模型可以客觀和獨立地被后者團隊評估。公司甚至可以考慮由外部合作伙伴進行模型驗證。通過建立分析基礎信息設施，公司能夠不斷基于現(xiàn)有狀況對模型進行評估和驗證，提升分析模型性能，抓住更多目標客戶。
數(shù)據(jù)分析往往不是一蹴而就的事情。事實上，當分析模型投入使用時就已經(jīng)過時了!分析模型總是落后于現(xiàn)實，我們能做的只是保持這種滯后性盡可能小。分析模型所使用的數(shù)據(jù)，都是在一個特定的時間點和特定的內外部環(huán)境條件下采集得到的。這一特定環(huán)境不是靜態(tài)的，而是隨著內部因素(如新戰(zhàn)略，不斷變化的客戶行為)和外部因素(新宏觀經(jīng)濟環(huán)境和法律法規(guī))不斷變化而變化。
例如，欺詐檢測分析中，欺詐者總是試圖不斷逃避模型的偵測，以騙取更多的錢財。另一個例子是信用評分模型在很大程度上依賴于當前的宏觀經(jīng)濟狀況(復蘇或是衰退)。因此，分析模型要取得成功創(chuàng)造價值，就必須對內外部環(huán)境進行監(jiān)測，以及時調整或重建模型。
構建底層基礎
為了建立一個分析環(huán)境，企業(yè)需要就所采納的硬件和軟件技術進行選擇。
硬件方面，需要專門的基礎設施(如Hadoop和相關的軟件棧)來清理、整合、存儲和管理數(shù)據(jù)。為了減少支出，企業(yè)可能選擇云存儲，并將大數(shù)據(jù)作為一種服務。公司在同外部進行數(shù)據(jù)傳輸和交換時，應采取適當?shù)闹斏鞔胧?，保證數(shù)據(jù)私密性。
軟件方面，很多廠商提供了大數(shù)據(jù)分析的商業(yè)解決方案。目前市場還有很多的開源分析軟件(R、weka、Rapidminer)，雖然這些開源軟件解決方案變得非常流行，但是他們還不夠成熟，還不足以很好的處理具有大體量、多樣性等特性的大數(shù)據(jù)。大數(shù)據(jù)分析成為越來越多公司的DNA 組成部分，但是政府、金融、醫(yī)藥，每個行業(yè)都有自己發(fā)展足跡，數(shù)據(jù)、業(yè)務和監(jiān)管都具有特異性，需要針對不同的基因組成進行不同的設置。因此企業(yè)需要的是能提供綜合全面垂直業(yè)務解決方案的軟件，而不是一個跨行業(yè)的橫向通用軟件。
鑒于建立數(shù)據(jù)分析構架環(huán)境的復雜性，公司可能會考慮外包。然而，公司內部數(shù)據(jù)及其蘊藏的信息是公司最寶貴的戰(zhàn)略資產(chǎn)，因此不宜讓第三方完全擁有數(shù)據(jù)訪問權。相反，企業(yè)應該建立內部分析中心和培養(yǎng)公司人員的分析技能，以服務公司廣泛的分析需求，這是公司在管理中應該考慮的問題。同樣公司董事會和高級管理人員都應該參與到分析環(huán)境構建中。很多企業(yè)還嘗試設立***分析官(CAO)這樣的職位，專門負責建立企業(yè)范圍內的分析環(huán)境和基礎設施，管理各業(yè)務單位分析模型的研發(fā)、審核及部署。
***一點，我們現(xiàn)在看到越來越多的中小型企業(yè)開始借助大數(shù)據(jù)分析。這些公司通常預算有限，因此它們比較中意那些現(xiàn)成的可以直接用于數(shù)據(jù)分析的現(xiàn)成軟件解決方案。比如利用在線分析工具，來研究網(wǎng)站的使用現(xiàn)狀，優(yōu)化網(wǎng)站設置、改善網(wǎng)站在搜索引擎排名并購買付費引擎營銷方案。
總結與展望：
在文章的結尾之處，我們想再次重申企業(yè)進行大數(shù)據(jù)分析所必須注意的幾個問題：
從公司管理的角度來看：
- 公司應同時關注數(shù)據(jù)體量和數(shù)據(jù)質量;
- 持續(xù)學習和培訓能填平新分析技術和新商機之間的鴻溝;
- 分析開發(fā)團隊應該包括獨立的模型開發(fā)團隊和模型驗證團隊;
- 分析并不僅僅是模型開發(fā)和驗證，還包括模型的監(jiān)測和回溯測試。
從技術的角度企業(yè)應該：
- 考慮使用云服務來進行大數(shù)據(jù)分析;
- 應該關注垂直式行業(yè)解決方案，謹慎選擇開源軟件;
- 對待外包分析要慎之又慎，***能在企業(yè)內部建立分析環(huán)境，并置于高層的管理之下。
