【51CTO.com原創稿件】在數據時代的今天，如何部署企業的大數據平臺，充分挖掘數據、分析數據、發揮數據價值，成為擺在企業面前的重要難題。面對爆炸式增長的數據，傳統的數據分析平臺存在著諸多的問題，已經不能滿足需求，借助云計算實現的云上數據分析平臺，就能夠非常靈活、輕松的實現企業的各種數據分析需求，并能夠有效控制成本。這里，筆者就與大家簡單的聊一下從傳統架構到云上數據，到底發生了哪些轉變。

[[190209]]

　　首先，來分析一下傳統數據分析平臺存在的各種問題。

　　傳統大數據分析平臺面臨的主要挑戰

　　一)多租戶支持。從Hadoop出現的***天起，對于多租戶的支持一直是大數據里被詬病的重要一點。如何在一個Hadoop集群做多租戶，由此提出了做隊列調度等等一大堆解決方案，但真正落地的并不多。如果把大數據拆成多個集群，拆完后失去了資源復用的意義，但是如果把所有數據放到一個大的集群中，又無法保證數據安全。因此，在傳統數據分析平臺中多租戶的支持一下是老大難。

　　二)快速部署。企業在建設大數據平臺時需要采購很多設備，對于人員的技術要求非常高，快速地推向市場將面臨很大的風險。

　　三)系統的靈活性和可靠性。傳統大數據平臺想要實現擴容，操作起來非常麻煩。例如計算能力不夠時需要擴容，采購機器至少需要花費幾周的時間，而要真正投入到使用當中，時間就會更長。

　　英特爾技術專家在接受筆者采訪時曾表示，大數據分析平臺要綜合考慮效率、成本和數據安全，傳統的數據分析平臺無論從哪個方面來講，都已經無法滿足企業對數據分析的需求，而云計算平臺則能夠很好的解決這些問題。

　　硬件革命使大數據和云計算緊密結合

　　眾所周知，在2011年Hadoop剛開始流行的時候，整體硬件的性能非常低，網絡僅有一千兆，硬盤每秒鐘磁盤的IO水平非常低，寫只有每秒50次左右，讀是每秒鐘100到300次，計算能力也不強。6年之后，硬件性能發生了翻天覆地的變化，CPU計算能力提升了10倍、20倍，存儲從每秒鐘50次寫的次數提升到每秒鐘寫次能上50萬，I/O的性能有一萬倍的提升，網絡從千兆網到40G、100G，也有100倍的提升。正是這種硬件性能的革命，使得Hadoop的設計理念發生了一些變化。

　　之前在利用Hadoop做大數據分析時，由于硬件性能差，挪動數據的成本太高，所以只能挪算法，數據在哪我們就在哪里算。隨著硬件性能的提升，讓我們能夠把存儲和計算分開。根據客戶的實際需要，將計算集群和存儲集群分到兩個獨立的集群，通過高速互聯網鏈接起來，這實際上就是成本和效率之間的折中。此外，為了保證多租戶，保證靈活性、安全性，將存儲網絡和計算網絡分開，在存儲網絡內，比如對象存儲，可以通過Amazon S3,restful等接口訪問數據，從而實現多租戶。同時，在計算集群里通過虛擬化、容器，實現多租戶，按需調度。兩個集群分開，完全可以滿足用戶的部署問題、安全問題。此外，硬件的革命使得大數據+云計算成為可能，等于Big Data As a Service。

　　云上數據，更加靈活、易管理

　　雖然說云計算在大數據里面不是必須的，但是沒有云計算這個輪子，大數據里面所謂的按需分配、多租戶、靈活擴展、動態配置都是不可能的;而如果我們要達到一個成本和可管理性、靈活性的一個折中，云計算是必須的。所以結合在一起就是云上的大數據，從而實現存儲集群和計算集群的分離。

　　英特爾技術專家表示，在系統的存儲層面上，包括塊存儲、對象存儲、第三方存儲，把各種存儲形成一個獨立的、軟件定義的SDS(軟件定義存儲)，靈活地在存儲層面上做多租戶、自動化、靈活性。在計算層面上，通過虛擬機、容器等技術，實現多租戶，靈活地配置各種服務，把大數據做成多種服務。這樣，用戶能夠按照自己的需求來動態選擇、動態擴容，實現兩層分開。當然，對于SDN來講，可以用傳統的網絡，用10G、40G、100G的進行鏈接。對于互聯網企業來講，直接用軟件定義網絡即可。

　　例如英特爾與金山云合作的KMR計算，數據放在塊存儲還是放在對象存儲上，實際上是有不同的配置來實現的。用戶想節省成本，想成本***，都是批處理，這時候可以把數據全放在底層對象存儲，用KS3做對象存儲，當需要計算的時候，Spark直接從對象存儲調用數據計算。同樣，如果用戶想保證效率，對計算的實時性要求很高，這時可以在內存里面建立一個內存文件系統，把熱數據全部緩存在內存里面，直接用KML或者是Spark實現內存計算，保證查詢的實時性和計算的實時性。

　　寫在***：從傳統的架構到云上大數據，實現了很多的轉變。傳統的大數據平臺計算和數據一般都在一起，到云上之后計算有可能是虛擬機、有可能是容器，存儲和計算是分離的。任何計算節點訪問存儲時都是通過高速互聯網絡把數據遷移到本地來。實現的優勢也就是大數據的服務化，靈活配置。因此，借助強大的計算性能，結合云計算平臺的優勢，從傳統架構的大數據平臺向云上數據的轉變，將給用戶提供更高的靈活性和管理性，并能夠為用戶節省大量的成本。

【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】