大數據之熱

9月的浦東新區，天氣已經略有涼意。張江高科技園區一個四周是玻璃的高檔辦公樓里，一大早，市場部門的資深員工李小姐正在自己的座位上開始一天工作之前的熱身：倒杯水，花上一刻鐘到半小時在各大網站上瀏覽當天要聞。在她最經常去的幾個論壇里，通常汽車、服裝，或者旅游促銷的廣告會不請自來;最近她發現這種多年不變的情形有了些不經意的變化，比如剛剛跳出的這個窗口：大數據分析幫助你鎖定高價值客戶“大數據”和旅游論壇有啥關系？她百思不得其解。

她所不知道的是，她在瀏覽器搜索界面里曾經輸入的“客戶”、 “促銷”、“通信錄”等關鍵詞，已被IE上面掛靠的抓取程序自動獲取，并且被關聯了相應的廣告，由IE插件完成最終的廣告推送。在北京郊區某處的機房里，基于“關聯規則”和“聚類”等統計分析方法的分析軟件在時刻不停地處理成千上萬個李小姐產生的數據。

她或許還沒有注意到的是，大數據和分析正在成為全世界炙手可熱的概念。先是幾年前谷歌首席經濟學家宣稱：數據分析員正成為21世紀最性感的職業;又有2012年3月29日奧巴馬政府公布“大數據研發計劃” (Big Data Research and Development Initiative)，白宮科技政策委員會(OSTP)還成立了大數據高層指導小組以推動這一戰略規劃。再有就是今年的事情了，地球人都已經知道，2013年是“國際統計年”。

幾個月前，JMP的老朋友Michael Rappa教授于美國眾院聆訊，主題正是“Next Generation Computing and Big Data Analytics”――下一代計算及大數據分析。Rappa教授作為IAA(Institute of Advanced Analytics, NCSU，北卡州立大學高等分析學院)創始人，去年被美國科學基金會新創立的大數據委員會任命為學術聯合主席。奧巴馬政府的大數據研發計劃資金正是來自于美國科學基金會。

國內學術界，得益于前中國人民大學常務副校長袁衛先生及其他統計學界知名教授學者的持續不懈的努力，2012年，教育部終于把統計從數學的范疇內獨立出來，正式升級成為與數學、物理、化學、計算機等大學科平級的“一級學科”。

以統計學為核心的數據分析方法正在學術、工商和政府等領域顯現出越來越大的價值。李小姐電腦上的變化，則是這一趨勢的小小表征。

最近Gartner發布了2013年度商業智能和分析的魔力四象限圖，報告明確指出，大數據和分析正在成為企業IT規劃的核心。

一切的現象都在告訴人們，一個新的科技時代似乎正在來臨。有些IT職業追潮人士甚至激動地認為“人類歷史上第三次科技革命”即將到來。

大數據之惑

問題在于，什么是大數據？為什么人人言必稱大數據？

“很大很大的數據”就是大數據。對“大”的定義在不斷刷新。10年前1GB數據已經很大了，今天，1000GB并不算太大。

問題其實不在于大，而在價值。“大數據”再大仍舊只是數據，沒有足夠有效的分析與應用，一切數據都是垃圾。紐約時報專欄作家David Brooks認為，缺乏足夠有效的分析是大數據的最大問題：越來越多的數據，帶來越來越多的相關性;其實很多相關性都是沒有意義的，這種欺騙性質的數據關聯會把數據管理者和使用者引入歧途，浪費大量的人力物力去管理、分析這些數據。

除了傳統意義上人們認為的那些有行有列有數值或者文字的數據表單之外，IT技術還幫助人們收集了越來越多的其他類型的資料，比如視頻，語音，圖片，文檔等。這些被稱為“非結構化數據”。

結構化與非結構化數據每天都在成倍的增加。以道路視頻監控為例，全上海的攝像頭有10多萬個，每一刻都在記錄圖片與視頻。一旦發生案件或者事件，這些記錄在硬盤庫里的資料就成為偵察與審判環節的重要證據。盡管目前技術尚不支持，業界仍然期望未來能在TB乃至于PB級的視頻數據里搜到一張特定身影或者臉孔。這類搜索/分析技術未來將是啟動視頻類大數據應用的引擎。

同樣，基于語音、照片或者文本的分析與數據挖掘同樣可以給人類對數據的理解帶來革命性的突破。問題在于，這類技術仍停留在實驗室階段。

盡管沒有足夠的應用，大數據仍然不可阻擋地火熱了起來。不扯上大數據似乎就要落伍了一樣，大數據滿天飛的日子來到了。至于這股潮流到底會演變成象.com一樣的泡沫，還是第三次產業革命，在華威先生們眼里，已經根本不重要了。業界，數據庫/存儲等領域供應商當然樂見其成，而企業的IT經理們則又多了一個申請預算的借口。

數據的價值及企業數據戰略

數據的獲取與存儲仍然是IT建設的基礎架構。一旦決定啟動“大數據戰略”，對資源源源不斷的占用使得這一工作黑洞化。如何規避這種大數據黑洞？結合全球主要行業領導企業以及部分小而強的歐洲企業的成功案例，我認為，應該以應用(分析及業務決策)為中心建立相應的數據戰略，并且隨之建立相應的從收集數據、管理數據到最終業務決策的一整套流程。而不是為數據而數據——首先要建立以應用為中心的數據戰略。說到應用，銀行、保險、汽車、化工等幾乎所有行業都在開展以數據分析為基礎的各種應用，以JMP軟件全球行業案例庫里面的部分典型客戶為例：

• 電商在分析顧客采購行為數據,以進行促銷和相關貨品推薦(交叉/提升銷售)
• 航空公司在調查旅客反饋,以改進空中服務(客戶挽留)
• 藥廠在對臨床實驗數據進行分析,以判斷新藥的安全性和有效性(研發新產品)
• 汽車廠商在對維修信息進行分析，以改進汽車整車和關鍵零部件的可靠性以提升客戶滿意度(挽留及獲取客戶)、降低客戶擁有成本和車廠的保修成本(降低成本)
• 手機公司在對手機銷售量進行預測，以合理排產與優化庫存(運營優化)
• 衛生管理部門在運用數據模型對流行病趨勢進行描述、監控與預測
• 銀行在對客戶服務流程進行優化與改善，以提升客戶滿意度
• 電腦廠商在利用客戶對不同配置組合進行市場調查，以進行定價
• 保險公司在根據保單出險情況進行保單定價的動態調整，以確保該產品基本盈利能力
• 半導體企業在對制造全流程數據進行分析/建模/優化，以改善工藝，提升良率，從而實現成本降低與利潤提升
• 食品公司在利用數據分析和市場調查手段，研發本地客戶最喜好的口味
• 快速食品行業在利用JMP地圖分析工具與人口統計學相結合，以進行門店選址，客戶獲取及供應鏈優化

只有足夠有效的應用，方可獲取數據的價值。企業只有在戰略層面確立了數據分析的重要性，方可持續改善。以GE為例，六西格瑪及相應的數據分析流程已經成為GE的全球戰略與文化。不僅如何，GE還持續不懈地推動基于數據分析的持續改善工作。在高端航空發動機研發及GE能源系統業務領域方面，GE也與時俱進，導入JMP所代表的業界最高水平的實驗設計(DOE)方法，以進一步提升其研發水平。

其次，一切都離不開人。與這股指數級增長的數據分析需求相對應，統計、分析類人才正成為職場上的稀缺品種和搶手貨。3月初華爾街日報刊登了“全美最搶手職業排名”，數據分析類職位高居榜單第二位。這是美國。對中國來說，或許排名更高，因為稀缺。

最后，建立一整套以數據分析及決策流程，以取代傳統的拍腦袋決策體系。這一點對于中國企業來說尤其需要強調。這不僅僅是對戰略的有效執行，更需要企業拿出“改變”的決心和勇氣，在制度層面體現出對“改變”的鼓勵和包容。

在這個應用為王的年代，對于企業來說，不論是搭建基礎架構還是應用軟件，要不要投入，如何投入，其實是個老話題了，無外乎價值與價格。大數據/云計算，不論名字如何變化，邏輯依舊。