大數據玩家們對2013年趨勢的預測
本文來自Adrew Brust的博客文章。主要陳述大數據業內人士對2013年發展的預測和作者自己的一些觀點,以下為編譯:
在大數據領域,雖然對技術產業的預測是不可缺少的,但是Adrew對宣傳一個具體公司的計劃明顯缺乏興趣,而且許多業內公司都把他們明年的計劃發給了Adrew,所以他認為:如果能把這些2013年的預測整合一下,再融入自己的觀點,將是一件非常有意思的事情。

圖:Big Data將會在2013發展到哪個階段?
Hadoop的2013
首先從Hadoop說起。做為大數據領域的代表技術,許多企業都把明年的計劃聚焦在Hadoop之上。MapR的執行總監John Schroeder預測,“用戶對Hadoop的優化將更注重硬件”。同時,Pervasive Software的技術總監Mike Hoskins也指出,“對企業友好的Hadoop技術市場將達到***的高峰”。
Adrew認為這兩個預測都會發生,從整體上說,不僅是Hadoop本身本會得到迅猛的發展,同時Hadoop在多個數據中心中的配置和無縫集成技術也將成為熱門。或許因為于此,MapR的Schroeder會說,“Hadoop的專業知識正在飛速增長,但是這方面優秀的人才仍然很缺乏”,他還預測,“基于SQL的Hadoop工具將會得到持續發展”。對于后面的這個預測我們沒法提出反對的意見,因為僅僅在過去的一個季度里,這樣的工具就取得了巨大的發展,并且目前的發展勢頭也有減弱。
然而并不是所有的觀點都一致。Rainstor自己就有基于SQL-Hadoop的混合產品,它預測一旦當企業需要對大數據進行管理,在明年將會尋找新技術,而不僅僅局限于Hadoop,這就和Pervasive的預測形成了強烈的對比,“MapR將占領傳統數據倉庫的市場,Hadoop將會成為大數據分析的不二選擇”。
Hadoop上層
過去Hadoop已經給我們帶來了許多微妙的預測。Rainstor預測,“企業的大數據熱情將從底層研究中釋放出來,他們會更多地關注一系列清晰的業務和技術。”MapR預測,“開源(增加收入)的應用將勝過節流應用”。其他公司的預測基本上都認為,明年的用戶將會轉移到成熟的更高層次的大數據模型之上。
雖然他們是對的,但是從底層中轉移出來并不容易,其中還有許多問題尚未解決。許多預測師似乎都有同感,普遍的說法是,Data Quality將會繼續成為企業的燙手山芋”。Progress DataDirect的專家預測,“企業將會被他們自己的數據淹沒,同時分散的數據也會帶來新的麻煩。”這些預測似乎有點危言聳聽,但是在商務智能的世界里,這些預測已經不新鮮了。如果說大數據的世界能避免這些問題,那恐怕只會是一場美好愿景下的炒作。一旦這些炒作過去,那些問題就會凸顯,使你無法逃避。
數據分析和虛擬化
業界人士發給Adrew預測的并不只有Rainstor, Pervasive, MapR 和 Progress DataDirect。Adrew同樣收到了關注市場分析的BlueKai和iOS數據虛擬的供應商Roambi的預測。他們的預測都是基于自己的服務,普遍涉及了用戶這個主題,指出他們必然會遇到更多、更復雜的問題。
例如Roambi提到,“有一半的業務數據沒法利用到,這影響到了決策和預測的準確性”。BlueKai的執行總監Omar Tawakol指出,“有遠見的品牌會重新評估他們的代理,基于***化利用交叉頻道聽眾的數據能力,去測量數據利用率和ROI。”
降低復雜度
大數據技術的落地將會有兩個特點:一個是對MapReduce依賴越來越少,另外一個是會把Hadoop技術深入的應用到企業的軟件架構中。
對于***個特點,Adrew指的是像Cloudera的Impala和微軟的PolyBase這樣的軟件會得到充分發展,他們繞開了MapReduce,直接對存在HDFS中的數據進行處理。MapR預測基于SQL的工具將和上面的軟件一起繼續發展,Pervasive預測,“YARN正在改變Hadoop的游戲規則,它不僅允許在Hadoop上運行MapReduce應用,同時還允許其他類型的應用在其上面部署。”
對于第二個特點,大規模的使用Hadoop是個必然趨勢,漸漸的就會形成行業的標準,進而成為更有價值的軟件基礎,而不僅是自己內部使用。因此,Adrew認為我們會看到更多集成了Hadoop功能的商務智能和智能分析工具,這樣我們對Hadoop專家的依賴就會逐漸降下來。
拭目以待
這些預言中哪些會成為現實,讓我們一起拭目以待。