坐看大數據之道:51CTO專訪大數據專家鄭瑋
原創【51CTO獨家特稿】大數據已經滲透進人們生活的方方面面,比如商店促銷決策、政治活動指引等等。究竟大數據目前發展狀況如何?51CTO專訪大數據專家鄭瑋將為您講述大數據之道。
專訪視頻專題,請訪問《坐看大數據之道》
NoSQL與大數據
NoSQL最早出現時,主要是Twitter這些社交媒體網站在用。因為他們需要處理每時每刻用戶上傳的海量圖片、視頻等非結構化數據。大數據概念提出之后,由于其在非結構化數據方面的優勢,迅速融入大數據整體平臺。
HBase在大數據平臺發展較快
為什么之前XML數據庫沒有成功?NoSQL的數據反而成功了?鄭瑋提到NoSQL給了大家一個平臺,可以用通用的技術去找數據,也可以去搜索那個數據。優點的地方應該是可以很快地去尋找你要找的東西,就是在很大的數據量里面能夠拿出你想看到的東西。你的數據可以是各種各樣形式的,不一定是一行一行結構化數據。
在這之前,你要用數據庫的話需要知道你每個數據、每個數據都是什么意思,比如你的姓名、你的地址,你要先把這些東西講好之后才能放到數據庫。但是很多時候你根本不知道收到的數據是什么東西,也許有地址,也許有名字,也許有其它東西。但是我都不知道,你還是可以把它放到NoSQL里去,然后在分析的時候慢慢地決定這個是名字,這個是地址,這個是其它的信息,這是一種很不同的分析方法,你不一定要知道數據里到底有什么東西,你可以先存儲,然后再用它的平臺去尋找你要知道的東西,然后再說這個數據到底是什么意思。
這就是大數據和NoSQL完美結合的地方。不用預先定義數據形式,根據非結構化數據進行分析,正是大數據的強項所在。面對紛繁復雜的數據來源,傳統關系型數據的能力受到了限制。
奧巴馬:大數據時代的第一任美國總統
民主黨的克林頓總統開啟了美國信息高速公路計劃,在其任期內實現了IT技術的一次飛躍。而2012年的美國大選,大數據技術成就了另一位民主黨候選人——奧巴馬。
51CTO編輯推薦:大數據時代的總統選舉
在大數據分析技術的幫助下,奧巴馬競選團隊可以從Twitter、Facebook等社交媒體中篩選出更有針對性的競選廣告投放點。比如在幕后支持巴拉克•奧巴馬獲取勝利的數據處理團隊注意到,喬治•克魯尼在西岸對40-49歲的女性粉絲有莫大吸引力,這個群體無疑是為了在好萊塢與克魯尼——以及奧巴馬共進晚餐而最愿意掏錢的一支人群。(譯注:5月10日,喬治•克魯尼為奧巴馬舉辦籌資聚會,當晚籌得競選連任資金1500萬美元。)
而專訪中,鄭瑋女士也談到大數據是如何預測美國大選結果的。比如美國就有一個人叫做Nicksour,這次就是因為預測總統選舉出名了。他本身就是一個數據科學家,他做的是把所有那些關系全局的數據拿出來,然后去做大數據平臺分析。這次就是100%地把總統選舉都算出來了,在奧巴馬還沒有當選的時候他就已經知道奧巴馬會贏。而且他知道50個州里哪個州會選他,哪個州不會選他,一直到多少百分比都算出來了。
熱熱鬧鬧的美國大選,成為大數據第一次嶄露頭角的舞臺。不論是前期競選策略決定,還是后期的選情走向分析,都可以看到大數據的巨大力量。而政治活動的投入產出計算,其實也是一種“另類”的商業決策。
雙11,大數據助力商業決策
上面美國大選的例子可以歸納到政治生活,而下面談到的將是更具吸引力的商業決策。在2012年11月11日,中國網民守在電腦前翹首期待“光棍節”來臨時,商家已經開始考慮使用大數據來指引自己的促銷活動了。
鄭瑋女士給大家舉了一個自己身邊的例子。在美國黑色星期五大促銷的日子里,她的一個單身女性朋友就經常收到買男士西裝或者男性物品的促銷單。這對于商家和消費者來說根本沒有用處,雙方都收到了無效的信息。
而通過大數據分析,商家就會知道怎么去分析。比如你是25-30歲的女性,你喜歡早上去上班有一輛車,另一輛車是你在度假的時候用的,可以把這些數據儲藏起來,然后用大數據的平臺,比如用Hadoop、NoSQL Analyse,可以幫助你做一些分析,也可以寄給你很有針對性的訂單,比如50%是你最喜歡的牌子,或者你最喜歡的產品?,F在的大數據是很普遍化了,不僅僅是針對一些很復雜的問題,每天生活上所有的事情當中都可以看到大數據的應用。
商家透過大數據分析,可以在較小成本代價的前提下,更加精確的制定合適的商業決策。對目標人群的購買喜好、消費習慣有了更加直觀的認識。并對未來的營收有更加科學化的預測分析。
中小企業該如何建立自己的大數據
對于大企業來說,建立一個屬于自己的大數據平臺并不是什么難事。只需要投入資金,招募合適的人才就可以有很好的基礎。似乎中小企業這類預算有限的用戶,就無法接觸到大數據了嗎?
其實不然,透過Amazon等云計算平臺,中小企業的CTO們可以在支付很少費用的情況下去Amazon租用一個Hadoop環境。這樣就可以開始自己的Hadoop之旅了。云計算加上大數據,讓中小企業有機會做自己的大數據平臺。隨著更多開源工具的加入,讓更多企業有能力接觸到以往只有大企業才能使用的技術。讓他們在未來的市場競爭中,從技術的角度不會落后。
總結
可以預見的將來,大數據在中國會隨著電商平臺和社交網站落地。比如淘寶已經在支付寶賬單中加入了對用戶消費習慣的分析,這已經是國內邁向大數據眾多例子中的一例。未來將會有更多的接口供給商家、用戶去進行大數據分析挖掘。大數據的時代正在到來。
更多專訪視頻及文字,請訪問《坐看大數據之道》
http://database.51cto.com/exp/bigdata1128/index.html
【編輯推薦】