最近10年，沒有一個(gè)技術(shù)名詞能像大數(shù)據(jù)一樣深入社會(huì)每個(gè)階層，獲得這么廣泛的關(guān)注。大數(shù)據(jù)被討論得如此泛濫已經(jīng)引起警覺，以至于2013年后，真正從事大數(shù)據(jù)行業(yè)的人盡量避免提及這三個(gè)字。本文無意對大數(shù)據(jù)概念做任何修正，評(píng)判，或?qū)＜艺撜{(diào)。只是一些事實(shí)，和來自20年數(shù)據(jù)分析從業(yè)經(jīng)驗(yàn)的一些感想。

1 輝煌的十年

大數(shù)據(jù)浪潮來自三股力量推動(dòng)：技術(shù)社區(qū)，市場，學(xué)術(shù)圈。

2004, Google 發(fā)表了 “MapReduce: Simplified Data Processing on Large Clusters”，明確提出 MapReduce。值得注意的是，Google 并沒有發(fā)明什么，’分布執(zhí)行-中央?yún)R總’ 是最樸素古老的并行思想，Google 這篇文章價(jià)值在于，把這種并行思想流程化、規(guī)范化了，并提出了可能的實(shí)現(xiàn)架構(gòu)。市場迅速對此作出反應(yīng)，很多軟件實(shí)現(xiàn)涌現(xiàn)出來，其中最成功的是 Hadoop, 雅虎慷慨地把它交給Apache 軟件基金會(huì)。之后數(shù)年經(jīng)過無數(shù)人努力發(fā)展成了完整的工具棧。

2008年前后以安卓手機(jī)為代表的智能設(shè)備開始普及，信息采集成本***得低，物聯(lián)網(wǎng)，大數(shù)據(jù)變現(xiàn)前景變得樂觀。眾包思想，自媒體概念深入人心。

2010年，無人駕駛汽車開始測試，2012年3月到2013年12月，美國先后有四個(gè)州通過了自動(dòng)駕駛汽車可上路測試的法律。

2011年，IBM 機(jī)器人 Watson，參加美國智力節(jié)目Jeopardy，挑戰(zhàn)兩位人類選手Ken和Brad，獲勝。

2011年，深度學(xué)習(xí)(Deep Learning) 引爆了學(xué)界，深度神經(jīng)網(wǎng)絡(luò)，ensemble learning, 增強(qiáng)學(xué)習(xí)這些高度依賴數(shù)據(jù)規(guī)模的算法得到應(yīng)用。 年度大事件是 “谷歌大腦” 項(xiàng)目實(shí)現(xiàn)了機(jī)器系統(tǒng)對各種不同類型貓圖像的自動(dòng)識(shí)別，正確率與人類判斷接近。

2012年11月，大型國際科研合作項(xiàng)目“千人基因組計(jì)劃” 二期目標(biāo)完成，這一成果將有助于更廣泛地分析與疾病有關(guān)的基因變異，改善全球人類健康狀況。 2013 IBM Watson 系統(tǒng)，微軟小冰，蘋果Siri 全面開花，標(biāo)志著大數(shù)據(jù)進(jìn)入深層價(jià)值階段。

2014 年中，善解人意會(huì)聊天的微軟機(jī)器人小冰出生。

2015 年底，Google 開源智能引擎 Tensorflow。 我只列舉了我熟悉的領(lǐng)域標(biāo)志性事件，實(shí)際上每一年每個(gè)領(lǐng)域這個(gè)列表可以鋪滿一頁。

2 大數(shù)據(jù)仍然是巨人游戲

每次重要的技術(shù)革新都帶給市場一次重新洗牌的機(jī)會(huì)。這次革新體現(xiàn)尤為突出，值得注意的是這次變革開源社區(qū)一開始就參與進(jìn)來，并且始終在技術(shù)層面上推動(dòng)。這一點(diǎn)不同造成影響非常深刻，甚至改變了游戲規(guī)則。

***就是傳統(tǒng)巨頭和初創(chuàng)公司之間的硬件資源壁壘變的不明顯了。Hadoop 問世之初被稱為’窮人的大數(shù)據(jù)’，因?yàn)榭梢缘统杀臼褂昧畠r(jià)硬件堆疊計(jì)算能力，給那些買不起 IBM 小型機(jī)的企業(yè)，特別是創(chuàng)業(yè)公司，與巨頭競爭的機(jī)會(huì)。另外網(wǎng)絡(luò)和智能設(shè)備的普及讓數(shù)據(jù)的流通屬性發(fā)揮的***，一個(gè)熱門服務(wù)短時(shí)間就能吸收巨大的數(shù)據(jù)流量。 這其間很多創(chuàng)業(yè)公司迅速從幾人小團(tuán)隊(duì)發(fā)展成獨(dú)角獸公司。

相對小公司的熱情擁抱，大公司用謹(jǐn)慎的步伐適應(yīng)這個(gè)轉(zhuǎn)變，特別是傳統(tǒng)行業(yè)。***懷疑開源產(chǎn)品的穩(wěn)定性和安全性，第二大家習(xí)慣了付費(fèi)從廠商得到支持，而不是自己參與到工具維護(hù)開發(fā)，甚至回饋技術(shù)社區(qū)。可是一旦度過轉(zhuǎn)型期，大公司充分利用自己的渠道優(yōu)勢，資源優(yōu)勢，會(huì)想盡辦法把大數(shù)據(jù)變成巨人游戲。技術(shù)只是入場劵，在所有門檻里，這是***的一道。巨人的游戲考驗(yàn)的是裝備，耐力，人力，業(yè)務(wù)積累，那些成功的小公司的絕不是憑技術(shù)勝出。

大公司的優(yōu)勢之一是積累深厚，后勁足。大公司還有個(gè)優(yōu)勢是，有足夠體量消化大數(shù)據(jù)的能量。如果公司業(yè)務(wù)線豐富，比如阿里、騰訊、百度、平安等，同一份數(shù)據(jù)在多個(gè)業(yè)務(wù)部門都可以釋放一次能量，這給了大公司更多空間對數(shù)據(jù)精耕細(xì)作。

3 不要把數(shù)據(jù)本身當(dāng)作唯一壁壘，建立自己的數(shù)據(jù)閉環(huán)

數(shù)據(jù)是非常脆弱的核心競爭力，數(shù)據(jù)本身不管多么大，無法支撐一個(gè)公司的長久運(yùn)營。脆弱的原因是收集成本與復(fù)制成本極度不對等，特別是當(dāng)前監(jiān)管落后市場很多，一家電商網(wǎng)站一年的交易情況一個(gè)盤陣就可以塞滿；在線地圖廠商走遍每條街道手工采集的POI數(shù)據(jù)一個(gè)星期就被爬蟲收入囊中。公司在制定數(shù)據(jù)戰(zhàn)略的時(shí)候要認(rèn)真考慮這種不對等，多層布局要把數(shù)據(jù)資產(chǎn)持久化運(yùn)營和精細(xì)化運(yùn)營。這方面的例子很多，實(shí)際上回顧 2010-2015 的互聯(lián)網(wǎng)的圈地狂潮，大伙兒都在做的兩件事就是：搶占入口，自建閉環(huán)。為了搶占入口各種地推燒錢，明爭暗斗無需多言。入口搶到了閉環(huán)的建立更困難。典型的數(shù)據(jù)閉環(huán)是：數(shù)據(jù)在消費(fèi)端生成，通過交易、服務(wù)渠道完成采集，經(jīng)過清洗匯總進(jìn)入倉庫，加工分析應(yīng)用到業(yè)務(wù)流程，市場反饋再通過消費(fèi)端回來。這個(gè)閉環(huán)對業(yè)務(wù)流程的增量改進(jìn)意義重大。

說到閉環(huán)建設(shè)，亞馬遜和 eBay 5年間的地位更替很有代表性。 2015年，亞馬遜值剛剛超過了3000億美元，eBay 曾經(jīng)是亞馬遜的主要競爭對手，在金融危機(jī)的2008年，兩家公司的市值還不相上下，但是現(xiàn)在只是它市值的四分之一。這5年發(fā)生了什么？亞馬遜是非常在意渠道建設(shè)和閉環(huán)打造，除了在線交易，在云計(jì)算，物流，支付，智能硬件，電子出版，新媒體都有大量投入，相比之下 eBay 的資源高度集中在自己的主營業(yè)務(wù)上。1995~2000年互聯(lián)網(wǎng)剛剛起步，亞馬遜采取的直營方式便于培養(yǎng)早期的用戶，但到2001~2007年電商快速發(fā)展，搶到流量就是搶到錢，eBay這樣的輕資產(chǎn)模式很快就能實(shí)現(xiàn)變現(xiàn)，所以它也是***盈利的電商之一，此時(shí)亞馬遜是落后的。2008年的金融危機(jī)之后，電商行業(yè)又經(jīng)歷了新的變化，交易額高速增長的時(shí)代告一段落，公司價(jià)值的競爭由過去的單純交易額和用戶驅(qū)動(dòng)變成了價(jià)值鏈經(jīng)營驅(qū)動(dòng)，而實(shí)現(xiàn)了閉環(huán)經(jīng)營的亞馬遜的市值又實(shí)現(xiàn)了反超。2015年第二季度，亞馬遜服務(wù)收入已經(jīng)超過60億美元，其中三分之一來自云服務(wù)，其他的來源還包括云平臺(tái)、物流、廣告，這部分業(yè)務(wù)可能會(huì)成為亞馬遜未來盈利能力的主要來源。

4 讓大數(shù)據(jù)工作落地

大數(shù)據(jù)最關(guān)鍵的一個(gè)環(huán)節(jié)是數(shù)據(jù)解讀。如果并不懂?dāng)?shù)據(jù)的作用時(shí)，他們就不會(huì)參與，當(dāng)他們不參與時(shí)，數(shù)據(jù)就沒有價(jià)值。數(shù)據(jù)團(tuán)隊(duì)的工作如果不能落在實(shí)處，前面所有環(huán)節(jié)都是徒勞。

Airbnb 公司的例子為數(shù)據(jù)團(tuán)隊(duì)如何推廣工作結(jié)果提供了很好的范本。

Airbnb是成立于2008年8月的旅行房屋租賃公司，Aifbnd 非常有遠(yuǎn)見，在團(tuán)隊(duì)只有7個(gè)人的時(shí)候就有了專職大數(shù)據(jù)工程師，公司發(fā)展中每一次重大決策，數(shù)據(jù)團(tuán)隊(duì)都發(fā)揮了重要作用。在早期團(tuán)隊(duì)規(guī)模小的時(shí)候，大數(shù)據(jù)團(tuán)隊(duì)工作模式是集中式的，分析團(tuán)隊(duì)的意見可以很快傳達(dá)到?jīng)Q策層，業(yè)務(wù)端的反饋也同樣。隨著公司成長，溝通鏈條變得越來越長，數(shù)據(jù)團(tuán)隊(duì)有被懸掛的感覺。其他同事不明白如何和我們互動(dòng)，其他人對我們沒有完全的理解。隨著時(shí)間的推移，數(shù)據(jù)團(tuán)隊(duì)被看成一種靜態(tài)資源，被要求提供數(shù)據(jù)，而沒有能夠主動(dòng)思考未來的機(jī)會(huì)。隨后數(shù)據(jù)團(tuán)隊(duì)被重新組織。仍然遵循集中的管理，但是走出自己的小組，進(jìn)入每個(gè)需求部門，直接同工程師、設(shè)計(jì)師、產(chǎn)品經(jīng)理、營銷人員等等溝通。這樣做增加了整個(gè)公司的數(shù)據(jù)利用率，也使數(shù)據(jù)科學(xué)家成為積極的合作伙伴。如今Airbnb用戶遍布190個(gè)國家近34000個(gè)城市，2015年2月28日，估值將達(dá)到200億美元。

5 相信數(shù)據(jù)，不憑感覺決策

以往的分析模型大多是大模型＋小數(shù)據(jù)，我們對模型本身做很多的假設(shè)和約束，人為干預(yù)在抽樣環(huán)節(jié)已經(jīng)開始，在結(jié)果出來前就已經(jīng)針對預(yù)期輸出準(zhǔn)備好可能的解釋。大數(shù)據(jù)時(shí)代有個(gè)明顯的特點(diǎn)是分析手段趨向粗暴簡單。無需抽樣，也不對分布做太多假設(shè)，用全樣本輸入；以深度神經(jīng)網(wǎng)絡(luò)為代表的大數(shù)據(jù)模型對解釋性的要求降到***。這種大數(shù)據(jù)＋小模型在很多領(lǐng)域取得了成功，特別是在決策短的情況下，只要數(shù)據(jù)量足夠大，可以得到一些直接的洞見。

2006年以前，賽林格受命用大數(shù)據(jù)為亞馬遜增加營收，那時(shí)亞馬遜作為單純的在線零售商并不為起平臺(tái)上的商家做廣告，塞林格認(rèn)為在廣告銷售有很大的利潤潛力，于是將這件事匯報(bào)給了自己的老板貝索斯，后者認(rèn)為這是個(gè)愚蠢的主意 “我們是零售商。為什么要銷售展示廣告？”。盡管貝索斯不喜歡也不支持這個(gè)想法，但是他允許賽林格的團(tuán)隊(duì)在網(wǎng)站上進(jìn)行小規(guī)模測試，結(jié)果成為了亞馬遜有史以來最盈利的項(xiàng)目，他們把協(xié)同過濾，結(jié)構(gòu)最簡單的推薦算法，做成了大數(shù)據(jù)一個(gè)經(jīng)典案例。

6 大數(shù)據(jù)不是良藥 大數(shù)據(jù)還在進(jìn)化

大數(shù)據(jù)決策的另一個(gè)極端是過分專注于大數(shù)據(jù)的技術(shù)討論，而忽略了一個(gè)基本事實(shí)：大數(shù)據(jù)不會(huì)改變業(yè)務(wù)維度的復(fù)雜性。盡管大的趨勢是很多業(yè)務(wù)問題可以變成技術(shù)問題來解決，但是經(jīng)歷十年快速發(fā)展，我們?nèi)匀惶幱诖髷?shù)據(jù)的初期階段。這個(gè)時(shí)期大數(shù)據(jù)的解決問題思路仍然是橫向的，試圖從量上突破。已經(jīng)積累了大量數(shù)據(jù)的企業(yè)，可以快速兌現(xiàn)歷史紅利，當(dāng)前的火爆很大程度是確實(shí)很大一部分過去二三十年甚至更久數(shù)據(jù)積累的一次集中釋放。當(dāng)淺層數(shù)據(jù)價(jià)值挖掘干凈后，如果沒有健康持久的業(yè)務(wù)模式，問題還在哪里。現(xiàn)在我們的大數(shù)據(jù)在五年后會(huì)變成小數(shù)據(jù)，MapReduce，Hadoop，stream computing 等概念會(huì)變成理所當(dāng)然的基本操作，甚至集成在語言本身，在業(yè)務(wù)層面感知不到它們的存在。現(xiàn)在或許是大數(shù)據(jù)最熱鬧的時(shí)代，當(dāng)在大數(shù)據(jù)真正回歸業(yè)務(wù)的時(shí)候，才是大數(shù)據(jù)***的時(shí)代。能活到那一天的都是從現(xiàn)在開始把大數(shù)據(jù)往深處做的人。

大數(shù)據(jù)不是神話，不是泡沫，它是一些實(shí)在的工具和方法的綜合，是在其上構(gòu)建的創(chuàng)意和生意。大數(shù)據(jù)已經(jīng)走過十年輝煌，讓我們繼續(xù)期待。