開源破解大數據困局 Hadoop非唯一選擇
曾幾何時,社交網絡正悄然成長起來,并逐漸成為人們工作和生活中不可或缺的一部分。如今,社交網絡發展得如火如荼,Facebook就是其中的一個典型代表。Facebook作為社交網站的領頭羊,最初只是為了方便大學宿舍成員之間的溝通,后來發展成用戶數超過9億、全球排名第一的社交網絡。據IDC統計,在Facebook上每20分鐘就有100萬個新鏈接被分享,1000萬條用戶評論被發布。Facebook基礎設施技術部門副總裁杰伊·帕里克(Jay Parikh)近期表示,該網站每天處理的數據超過500TB,這其中包括3億張照片和其他非結構化數據。社交網站及其他互聯網應用,已經逐漸變成了整個數據采集、分析、處理、增值的數據架構。
社交網絡在中國的發展同樣勢不可擋。中國擁有全球第一的人口數量,以及全球最大的PC和智能手機出貨量,也就造就了全球最多互聯網用戶和移動互聯網用戶,創造數據的規模遠遠超過全球其他國家。新浪微博最新公布的數據顯示,微博用戶每天平均在線時長為60分鐘,活躍用戶中有60%通過移動終端登錄,所有來自移動終端的原創內容中,有40%的微博分享照片。由此產生的大數據具有高容量、類型多樣化、持續性不斷更新,以及為用戶帶來最終價值等特點,早已不是傳統技術手段所能夠處理的。
開源技術破解大數據困局
大數據不僅影響著人們生活的方方面面,更重要的是它給企業帶來的改變。據Gartner預測,企業數據將在五年內增加800%,其中80%是非結構化數據,大部分來自團體、社區,以及社交網絡的非業務數據。面對如此規模的數據,對于有準備的企業來說這無疑是一座信息金礦,如何將大數據轉換為有價值的信息將成為未來企業的決勝法寶。
大數據蘊藏的商業價值不可小覷。對于當今的企業而言,數據就是一種重要的戰略資產,如果能夠看清其商業價值并且迅速行動起來,將會在未來的競爭中占得先機。然而,傳統關系型數據庫技術擅長處理結構化數據,對于未來企業中占絕大多數的非結構化數據卻無從下手。此時,大量新技術應運而生。
大數據自誕生之日起,就表現出“開源”的基因。閉源、專有和整體硬件存儲解決方案還沒有完善起來幫助企業用戶應對這種非結構化數據暴增的沖擊,而開源軟件能夠降低大數據帶來的種種風險。開源解決方案允許用戶利用成百上千的PC服務器,在數秒的時間內實現大數據各種應用服務,而用戶只需要支付使用資源的小部分成本。
以Hadoop為代表的一系列開源技術,成為大數據存儲、處理和分析的主力軍。各大IT巨頭瞄準開源技術,紛紛推出各自的大數據戰略。Hadoop作為其中的最受關注的技術,已逐漸走向商業化的道路,面向企業提供商用版本,就像紅帽對Linux的做法一樣。
挑戰大數據 Hadoop并非唯一選擇
一提到大數據,往往會與Hadoop聯系起來。不可否認,Hadoop的確是一款非常出色的處理大數據的開源工具。除了Hadoop之外,還有很多優秀的技術和工具如雨后春筍般成長起來,包括開源語言R、NoSQL數據庫和非結構化數據存儲解決方案等,也理應成為大數據舞臺上不可或缺的成員。這其中不得不提2012年6月27日全球上市的Red Hat Storage Server 2.0。
Red Hat Storage Server 2.0是一款可向外擴容的開源存儲軟件解決方案,主要用于非結構化數據的管理,是行業中首個能和對象存儲輕松整合在一起的文件存儲解決方案,有效擴展以滿足非結構化數據暴增的需求。它可以配置在預設平臺中,也可以配置在私有云、公有云或者混合云環境中,用來優化存儲密集型企業級工作負載。
紅帽公司作為全球最大的開源技術廠商,駕馭開源的能力不可小視。紅帽于2011年10月以1.36億美元收購了開源存儲軟件提供商Gluster,自此加快了布局大數據市場的腳步。Linux是管理大數據最好的平臺,紅帽利用自身優勢,將Red Hat Storage Server 2.0構建在Red Hat Enterprise Linux操作系統上,用戶在無需犧牲擴展能力或者性能的前提下就可以配置經濟劃算的、可擴展的、高可用性的存儲軟件。
紅帽也看到了Hadoop對于大數據的價值。Red Hat Storage Server 2.0能夠兼容Apache Hadoop為用戶提供Hadoop配置的最新存儲選擇。它既可以Hadoop HDFS整合在一起,也可以作為HDFS的替代產品,實現更加快速的文件訪問。
此外,Red Hat Storage Server 2.0還可以兼容超過50種主流硬件廠商的雙路X86服務器,并且支持業界領先的文件訪問協議,包括通用互聯網文件系統(簡稱CIFS)、網絡文件系統(簡稱NFS)、HTTP和OpenStack Swift等。
總結
大數據的影響仍在繼續,它體現的不只是商業價值,還有企業IT架構和技術的顛覆性變革。正如紅帽公司負責存儲的副總裁兼總經理Ranga Rangachari所說,在未來幾年里,開源存儲解決方案和大規模X86服務器將會以Linux和大規模X86服務器改變服務器市場同樣的方式改變存儲市場。