時下大數(shù)據(jù)大熱，而且這股熱潮可謂來勢洶洶。在相關(guān)廠商、投資方以及眾多第三方機構(gòu)的鼓動下，越來越多的用戶摩拳擦掌、躍躍欲試。

雖然眼下各家關(guān)于大數(shù)據(jù)的宣傳重點各有不同，但描繪的前景基本相同，即通過數(shù)據(jù)探查、數(shù)據(jù)分析及數(shù)據(jù)展示等相關(guān)技術(shù)，讓我們可以從海量數(shù)據(jù)中很快找到新的商業(yè)機會，或者做出更正確的決策。

對IT業(yè)發(fā)展歷史有些了解者對這一情形并不陌生，當(dāng)年商業(yè)智能也是同樣炙手可熱，而且商業(yè)智能也是以“打開智慧之門”的名義讓不少企業(yè)投入其中，而時至今日，很少有企業(yè)真正拿到了那把“金鑰匙”。

如今，當(dāng)兩個同樣以“智能”或者“智慧”名義敲開用戶大門的技術(shù)來到我們面前的時候，我們該如何選擇?特別是對于傳統(tǒng)商業(yè)智能的用戶，我們該如何積極擁抱大數(shù)據(jù)?有了大數(shù)據(jù)我們還需要商業(yè)智能嗎?大數(shù)據(jù)將取代傳統(tǒng)商業(yè)智能嗎?

在大數(shù)據(jù)聲名鵲起而傳統(tǒng)商業(yè)智能聲音似乎逐漸式微的當(dāng)下，我們提出這些問題并非毫無來由。盡管目前關(guān)于何謂大數(shù)據(jù)還沒有統(tǒng)一的說法，但是，大數(shù)據(jù)是以海量數(shù)據(jù)的處理和分析，發(fā)現(xiàn)數(shù)據(jù)背后的本質(zhì)，增加企業(yè)洞察力為目的而誕生的，而這與商業(yè)智能的目的基本一致，從這個意義上說，兩者之間就存在著一定的競爭關(guān)系。當(dāng)我們把“大數(shù)據(jù)是否將取代傳統(tǒng)商業(yè)智能”話題發(fā)布在《計算機世界》官方微博和計世網(wǎng)上的時候，的確引起了業(yè)界的廣泛探討(微博調(diào)查結(jié)果參見圖1)。這在一定程度上也反映了業(yè)界對大數(shù)據(jù)與商業(yè)智能之間關(guān)系的模糊認識。

#p#

草根與貴族之爭

盡管隨著技術(shù)的不斷進步，商業(yè)智能日益平民化，如今基于Excel表也能在一定程度上實現(xiàn)傳統(tǒng)商業(yè)智能的部分功能。但是，商業(yè)智能最精典的架構(gòu)依然以數(shù)據(jù)倉庫為基礎(chǔ)，通過搭建數(shù)據(jù)倉庫(常常是專用設(shè)備)，利用ETL工具進行數(shù)據(jù)抽取、轉(zhuǎn)化，建模，然后通過報表和駕駛艙等形式進行結(jié)果展示，整個過程每個環(huán)節(jié)都投資不菲而且耗時。因此，很長時間以來，商業(yè)智能被認為大企業(yè)的專有，而被稱為是貴族。相對而言，大數(shù)據(jù)主要用于一些互聯(lián)網(wǎng)企業(yè)，采用通用硬件設(shè)備加上開源軟件實現(xiàn)，成本低而被一些人認為是草根。因此，這場大數(shù)據(jù)與商業(yè)智能之爭也被看成是“草根”與“貴族”之爭。那么，當(dāng)“草根”出身的大數(shù)據(jù)遇到了“貴族”商業(yè)智能會發(fā)生什么變化?是否會搶占商業(yè)智能的市場?

“目前看來，大數(shù)據(jù)還搶不了商業(yè)智能的市場，無論從技術(shù)成熟度還是生態(tài)系統(tǒng)來說。”SAP亞太區(qū)數(shù)據(jù)庫解決方案技術(shù)總監(jiān)盧東明告訴計算機世界記者，商業(yè)智能這個概念自1992年興起后的20多年中，已經(jīng)在IT界幾乎家喻戶曉、婦孺皆知了。這個概念的知名度是一個巨大的資產(chǎn)，顛覆一個已有20多年存在且仍有生命力的技術(shù)是非常不容易而緩慢的過程。

而就生態(tài)系統(tǒng)而言，歷經(jīng)近20年的發(fā)展，商業(yè)智能從最初朦朧的概念到如今豐富的產(chǎn)品系列和解決方案組合，特別是數(shù)據(jù)庫、數(shù)據(jù)倉庫產(chǎn)品的組合在用戶中已經(jīng)留下很深的烙印。此外，還有各種各樣圍繞商業(yè)智能產(chǎn)生的數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)可視化軟件，如此完善的生態(tài)系統(tǒng)是現(xiàn)階段大數(shù)據(jù)所無法媲美的。

基于上述原因，盧東明更愿意把大數(shù)據(jù)作為傳統(tǒng)數(shù)據(jù)庫、數(shù)據(jù)倉庫以及商業(yè)智能這些概念的外延和擴展，認為相互之間不存在取代的關(guān)系，也并不是互斥的關(guān)系，他傾向于把大數(shù)據(jù)歸為實現(xiàn)商業(yè)智能的一種技術(shù)手段。“打個比方吧：如果BI是個聽診器的話，你說X光、核磁共振和它啥關(guān)系?”

實際上，在我們的微博調(diào)查中，持類似觀點的基本占絕大多數(shù)，特別是業(yè)內(nèi)人士。北京殷塞信息技術(shù)有限公司執(zhí)行董事兼***架構(gòu)師朱東也是其中之一，在朱東看來，大數(shù)據(jù)就是一種分布式存儲和處理技術(shù)，用來處理那些“分散”和“難處理的數(shù)據(jù)”，和商業(yè)智能不在一個層面上，本質(zhì)上大數(shù)據(jù)只是商業(yè)智能的一個新數(shù)據(jù)源。從這一點上也反映出業(yè)界對大數(shù)據(jù)的概念至今還缺乏統(tǒng)一的認識。(本文所說的大數(shù)據(jù)是廣義的大數(shù)據(jù)，涵蓋對海量數(shù)據(jù)特別是非結(jié)構(gòu)化數(shù)據(jù)從數(shù)據(jù)采集、存儲、分析到最終結(jié)果呈現(xiàn)的整個過程中涉及的所有技術(shù)。正是基于此，這兩個概念才有可比性。)

當(dāng)然，也有人不這么看。特別是在一些用戶看來，兩者的關(guān)系可能就簡單得多了。

“從用戶觀點看，只有草根打法和貴族打法的差別，沒有大數(shù)據(jù)和BI的差別。”中文信息處理及金融IT知名專家、上海證券交易所白碩在其微博中也對我們提出的“大數(shù)據(jù)將取代傳統(tǒng)商業(yè)智能”的話題發(fā)表了自己的意見。#p#

跑在不同軌道上的列車

拋開商業(yè)智能與大數(shù)據(jù)之間的爭論不談，目前這兩者各自都有其擅長的領(lǐng)域則是不爭的事實，而且看起來區(qū)別實在太大，更像是偶有交叉但行駛在不同軌道上的兩輛列車。

眾所周知，當(dāng)今的數(shù)據(jù)資產(chǎn)基本可以歸為三類，即企業(yè)內(nèi)部的業(yè)務(wù)數(shù)據(jù)、公共服務(wù)機構(gòu)的數(shù)據(jù)(如物聯(lián)網(wǎng)相關(guān)數(shù)據(jù))，以及與互聯(lián)網(wǎng)相關(guān)的數(shù)據(jù)(如網(wǎng)絡(luò)日志、微博等)。

“在這三類數(shù)據(jù)中，企業(yè)內(nèi)部業(yè)務(wù)數(shù)據(jù)和部分公共服務(wù)器的分析和處理基本是傳統(tǒng)商業(yè)智能的天下，而互聯(lián)網(wǎng)數(shù)據(jù)的處理則是大數(shù)據(jù)技術(shù)的天下。兩者的重合度并不大。”Informatica中國區(qū)***產(chǎn)品顧問介紹說。

南大通用數(shù)據(jù)技術(shù)有限公司董事長助理李航表達了同樣的觀點。他認為，大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)到目前為止還是涇渭分明的兩個不同陣營，現(xiàn)實中絕大部分企業(yè)的商業(yè)分析都基于傳統(tǒng)的商業(yè)智能來進行，還不會因為大數(shù)據(jù)而摒棄原來的傳統(tǒng)分析方法。因此，不存在所謂的市場沖擊。

“大數(shù)據(jù)相關(guān)技術(shù)(如Hadoop)主要用來存儲和處理非結(jié)構(gòu)化數(shù)據(jù)，但是非結(jié)構(gòu)化的數(shù)據(jù)想要被充分認知和分析，轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)之后處理不失為一種有效方法。比如，將大數(shù)據(jù)以及聚合數(shù)據(jù)輸入傳統(tǒng)商業(yè)智能系統(tǒng)中去做分析與展現(xiàn)，最終形成報告，出分析結(jié)果。”李航說。

李航的觀點在傳統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)倉庫廠商從業(yè)人士中很典型，基本代表了大多數(shù)傳統(tǒng)傳統(tǒng)數(shù)據(jù)庫、數(shù)據(jù)倉庫廠商的觀點。基于這樣的認識，它們最常推薦的一個應(yīng)用場景是，將大數(shù)據(jù)存儲在Hadoop，利用Hadoop來初步處理，然后將其轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)存儲數(shù)據(jù)倉庫中，再利用現(xiàn)有的傳統(tǒng)商業(yè)智能平臺進行數(shù)據(jù)分析和預(yù)測，提供報表，或者成為企業(yè)駕駛艙中的一部分。而那些率先引入大數(shù)據(jù)技術(shù)的互聯(lián)網(wǎng)企業(yè)卻很少使用這些方法，這些缺乏傳統(tǒng)商業(yè)智能基礎(chǔ)的企業(yè)從一開始就將自己的解決方案完全架構(gòu)在Hadoop等大數(shù)據(jù)技術(shù)上，直接從Hadoop中提出數(shù)據(jù)，利用自己定制的MapReduce，完成數(shù)據(jù)的分析和展現(xiàn)。比如，提供網(wǎng)站精準(zhǔn)推薦服務(wù)的百分點就是這樣使用Hadoop挖掘訪客點擊數(shù)據(jù)的。

顯然，用戶不同的技術(shù)儲備決定了技術(shù)方案的不同選擇，而廠商不同的出身也決定了其不同技術(shù)發(fā)展路線。在傳統(tǒng)商業(yè)智能廠商看來，商業(yè)智能和大數(shù)據(jù)都不可偏廢。IBM新興市場部大數(shù)據(jù)中心總監(jiān)王曉梅就多次強調(diào)，在IBM大數(shù)據(jù)的戰(zhàn)略中，傳統(tǒng)的關(guān)系型數(shù)據(jù)、結(jié)構(gòu)化的數(shù)據(jù)仍舊是IBM大數(shù)據(jù)中非常重要的一部分，其數(shù)據(jù)倉庫也仍舊是整個大數(shù)據(jù)平臺不可或缺的重要一部分。#p#

技術(shù)上的融合

盡管在大多數(shù)業(yè)內(nèi)人士看來，在數(shù)據(jù)分析市場上大數(shù)據(jù)與商業(yè)智能更像兩個行駛在不同軌道上的列車，并肩前行同時偶有交叉，但是在技術(shù)上，同為數(shù)據(jù)分析、提高洞察力而存在的兩種技術(shù)之間早就開始了交流和互動。比如，為應(yīng)對海量數(shù)據(jù)帶來的挑戰(zhàn)，商業(yè)智能相關(guān)產(chǎn)品紛紛在性能方面做文章。內(nèi)存計算、列式存儲等技術(shù)就被廣泛應(yīng)用到傳統(tǒng)的數(shù)據(jù)處理相關(guān)產(chǎn)品和技術(shù)中，今天我們在IBM、Oracle、SAP等相關(guān)產(chǎn)品上都可以看到它們的蹤跡。比如，SAP正在大力推廣的HANA就是典型代表。同樣，專注在數(shù)據(jù)分析層面的SAS也在其新一代數(shù)據(jù)分析工具中引入名為HPA的高性能分析引擎，主打的同樣也是高性能。

除此之外，那些提供傳統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)倉庫的主流供應(yīng)商，包括甲骨文、IBM、SAP(收購了Sybase)、微軟等都在其數(shù)據(jù)庫和數(shù)據(jù)倉庫提供各種連接器，支持對Hadoop數(shù)據(jù)進行分析。比如，甲骨文推出了軟硬一體的大數(shù)據(jù)庫機，其中內(nèi)置了與Oracle數(shù)據(jù)庫的連接器來與Hadoop進行數(shù)據(jù)通信。在SAP Sybase***一代數(shù)據(jù)倉庫Sybase IQ 15.4中也同樣配備了很多接口。通過這些接口可以同時訪問Sybase IQ和Hadoop，或者用一個標(biāo)準(zhǔn)的SQL來訪問Hadoop的數(shù)據(jù)。

“適者生存，從結(jié)構(gòu)化為主的‘小數(shù)據(jù)’到非結(jié)構(gòu)化為主的‘大數(shù)據(jù)’，大量連接器的出現(xiàn)其實已經(jīng)表明了數(shù)據(jù)庫廠商的姿態(tài)，大數(shù)據(jù)擴充了數(shù)據(jù)的外延，也擴大了數(shù)據(jù)庫的應(yīng)用空間。目前還沒有一個數(shù)據(jù)庫***地解決‘小數(shù)據(jù)’和‘大數(shù)據(jù)’的混用問題，接口就是目前***的階段性技術(shù)。”SAP盧東明告訴計算機世界記者，而從技術(shù)發(fā)展的角度看，數(shù)據(jù)庫、數(shù)據(jù)倉庫產(chǎn)品必須自我發(fā)展，以適應(yīng)大數(shù)據(jù)帶來的挑戰(zhàn)，一如商業(yè)智能的過去一樣。

眾多周知，在過去的20多年，傳統(tǒng)商業(yè)智能從行式存儲數(shù)據(jù)庫轉(zhuǎn)為列式存儲數(shù)據(jù)庫，磁盤數(shù)據(jù)庫轉(zhuǎn)向內(nèi)存數(shù)據(jù)庫，軟件架構(gòu)也從SMP轉(zhuǎn)為MPP，數(shù)據(jù)倉庫實施從延時多維變?yōu)閷崟r抽取等。這些轉(zhuǎn)變的背后，其推動力就是用戶對數(shù)據(jù)處理和分析日益增加的需求。

相對于比較成熟的傳統(tǒng)商業(yè)智能，出現(xiàn)不久的大數(shù)據(jù)其需要成長和完善的地方更多。“效率、可靠性和安全性是一個成熟的數(shù)據(jù)處理平臺所必須具備的，對于大數(shù)據(jù)而言，這也是它首先需要解決的。”Informatica大中國區(qū)***產(chǎn)品顧問但斌告訴計算機世界記者，而在這些方面?zhèn)鹘y(tǒng)BI已經(jīng)走過了近20年的發(fā)展歷程，可以提供很多值得借鑒的技術(shù)和方法論。

另一方面，大數(shù)據(jù)在技術(shù)上也有待突破，特別是在微博、微信等語義分析方面，只有這些技術(shù)實現(xiàn)了突破，大數(shù)據(jù)的市場才會真正從互聯(lián)網(wǎng)領(lǐng)域走向傳統(tǒng)領(lǐng)域。

其實，以Hadoop為代表的大數(shù)據(jù)相關(guān)技術(shù)也在做出一些適應(yīng)性變化。比如，Hive的出現(xiàn)，就是為了方便人們像使用SQL數(shù)據(jù)庫一樣，來直接調(diào)用Hadoop中的數(shù)據(jù);而NoSQL的出現(xiàn)本質(zhì)上也是借鑒傳統(tǒng)SQL數(shù)據(jù)庫來解決非結(jié)構(gòu)化數(shù)據(jù)的管理問題。#p#

商業(yè)智能3.0

實際上，當(dāng)我們還在探討大數(shù)據(jù)與傳統(tǒng)商業(yè)智能之間的關(guān)系時候，國外已經(jīng)有人提出了BI 3.0的概念(參見圖2), 將大數(shù)據(jù)也作為商業(yè)智能的一個部分。在這一概念體系中，傳統(tǒng)商業(yè)智能被稱為BI 1.0，其與大數(shù)據(jù)結(jié)合后稱為BI 2.0，而在結(jié)合移動數(shù)據(jù)后就成為了BI 3.0。與之相似，在國內(nèi)也有人提出類似的觀點，頗為有趣的是，這種觀點將商業(yè)智能歸到了大數(shù)據(jù)之下，稱大數(shù)據(jù) 3.0。

比如，天云科技***數(shù)據(jù)科學(xué)家鄭毅就將傳統(tǒng)商業(yè)智能稱做大數(shù)據(jù)的1.0，此時處理的主要是企業(yè)內(nèi)部流轉(zhuǎn)的業(yè)務(wù)數(shù)據(jù)，服務(wù)的也是企業(yè)內(nèi)部;下一階段將是大數(shù)據(jù)2.0，此時數(shù)據(jù)不只在企業(yè)內(nèi)部發(fā)揮價值，還會用這些數(shù)據(jù)向外去創(chuàng)造價值;大數(shù)據(jù)最終會走向3.0，那時數(shù)據(jù)能夠?qū)?nèi)、對外產(chǎn)生價值，同時還能在不同組織間自由流動，形成整個社會的數(shù)據(jù)基礎(chǔ)設(shè)施。

顯然，出身的不同決定了其對兩個概念的不同理解：來自傳統(tǒng)商業(yè)智能領(lǐng)域者將大數(shù)據(jù)當(dāng)成一個新增的數(shù)據(jù)源;而大數(shù)據(jù)一方則認為傳統(tǒng)商業(yè)智能只是其領(lǐng)域中處理少量數(shù)據(jù)時的一種方法。不過，對于用戶而言更希望能獲得一種整體的解決方案，即不僅要能收集、處理和分析企業(yè)內(nèi)部的業(yè)務(wù)數(shù)據(jù)，還希望能引入互聯(lián)網(wǎng)上的網(wǎng)絡(luò)瀏覽、微博、微信等非結(jié)構(gòu)化數(shù)據(jù)。除此之外，還希望能結(jié)合移動設(shè)備的位置信息，這樣企業(yè)就可以形成一個全面、完整的數(shù)據(jù)價值發(fā)展平臺。畢竟，無論是大數(shù)據(jù)還是商業(yè)智能，目的都是為分析服務(wù)的，數(shù)據(jù)全面整合起來，更有利于發(fā)現(xiàn)新的商業(yè)機會。這也正是“BI 3.0”或者“Big Data 3.0”的最終目的。

實際上，用戶對數(shù)據(jù)分析相關(guān)工具和界面的融合需求也已經(jīng)開始出現(xiàn)，比如，在商業(yè)智能應(yīng)用最為普及的銀行中，就希望在原來僅僅為客戶提供支付服務(wù)之外，還能知道更多客戶的購買信息(比如，物品清單)，從而可以更為充分地了解客戶，為其下一步的精準(zhǔn)營銷奠定基礎(chǔ)。

過往的歷史表明，技術(shù)的活力在于不斷創(chuàng)新。對于已經(jīng)存在了20多年的相對比較成熟的商業(yè)智能而言，早就形成了一個相對完善的生態(tài)系統(tǒng)。更為重要的是，大量企業(yè)在傳統(tǒng)商業(yè)智能方面已經(jīng)進行了大量投資，特別是企業(yè)里很多業(yè)務(wù)其實已是圍繞這樣的系統(tǒng)來開展的時候，即使真有一種可替代的技術(shù)出現(xiàn)，這種替換也不會很快發(fā)生，更何況從目前來看大數(shù)據(jù)也不是這樣一種技術(shù)。基于這樣一個認識，我們認為，在未來相當(dāng)長一段時間，大數(shù)據(jù)和傳統(tǒng)商業(yè)智能將在相互促進中競爭，在競爭中共同進步，最終走向“BI 3.0”或者“Big Data 3.0”。