[爆料]英特爾:將Hadoop“固化”到Xeon中
大數據有多熱,Hadoop就有多熱。
與AWS在私有云市場動作頻仍一樣,Hadoop近期熱點事件也不少。 Hortonworks提供Hadoop big-data platform for Windows測試版, EMC針對Cloudera發布名為“Pivotal HD”的Hadoop發行版, HP加入Hadoop并提供安全插件ArcSight。2月26日,在Hadoop無數的商業版和開源版中,同時擁有在Apache開源版基礎上修訂的發行版和免費版兩個Hadoop版本的Intel 再次爆料:要將Hadoop直接集成到Xeon中。
對于大數據分析而言,最基礎的需求就是對于大量的結構化和非結構化數據,可以支持可變的數據結構和高效的數據導入、查詢、統計分析。Hadoop在這些方面“當仁不讓”。作為被稱為“或可媲美Linux”的項目,Hadoop吸引了諸多頂級玩家的加入。
以至于,目前市場上Hadoop發行版與開源版種類繁多。其中,不僅有Cloudera、HortonWorks、Amazon的EMR、MapR,也有IBM、Oracle、Microsoft、Intel、EMC等諸多版本的Hadoop。對Intel而言,其擁有在Apache開源版基礎上修訂的發行版和免費版兩個Hadoop版本。前者鎖定行業客戶,如電信、視頻監控、生產制造等,后者核心代碼和核心功能與前者相同,區別是支持節點數量和存儲容量。此外,Intel還在GitHub維護著Project Panthera開源項目,其中包括即時分析、基于HBase的文檔存儲、基于Hive/MapReduce的分析SQL引擎、HiBench和HiTune等子項目。

Intel Hadoop發行版
Intel架構部門副總裁Boyd Davis說:“大數據生成很容易,但關鍵是要用起來。”圍繞這一點,EMC和HP本周都有所動作。但Intel所做的更為直接:將Hadoop直接固化到芯片中。“Hadoop架構具有巨大的潛力,其完全可以做為硬件基礎層存在,并在此之上構建可以實現水平分布的各式各樣的堆棧。”如此,對于IT經理而言,自動配置與評估,調優和管理自然更為簡便。
芯片就是Xeon,并在網絡和I/0方面針對數據分析“新應用層”有特別的優化。
例如,通過固化Hadoop的Xeon處理器,Intel預計1TB的數據分析可以在7分鐘內完成,而采用其他方案,預計將需要4小時以上。
除了使用AES-NI指令集有希望20倍的提升加密速度以外,Intel的Hadoop分布式框架還將通過固態驅動器與緩存加速來實現優化,查詢速度將比Hive快8.5倍;Intel Labs通過AVX和SSE 4.2進行硬件增強壓縮以及Active Tunner對集群進行自動調優。
而在安全方面,將提供一個“完整,加密”的Xeon處理器方案,從而使得用戶不需求犧牲性能即可實現數據的高安全性。
差不多24個合作伙伴可以幫助Intel將“固化Hadoop的Xeon解決方案”推廣到公有云和私有云中,比如Cisco,Dell和SAP。而為了加快部署,Intel還透露,會投資規模較小的大數據公司,如MongoDB和Guavus Anaytics,這樣在基于Apache Hadoop的數據分析解決方案方面將更加豐富。
寫在最后:
眾所周知,Hadoop底層硬件平臺多為Intel芯片,如此模式,是否會使Hadoop的競爭更加白熱化?!這讓譯者想到2012年7月一次會議中,中國聯通研究院副院長黃文良的介紹:
聯通Hadoop系統的后臺是178臺基于英特爾至強5600處理器的兩路刀片服務器,每臺服務器配備了14TB存儲容量。此外,系統還有3臺NameNode節點服務器、入庫服務節點服務器24臺、Zookeeper節點服務器7臺、集群監控節點1臺和Web查詢應用服務節點20臺。這些也都是IA架構的x86服務器。
“我們也試過用Hadoop的開源版本,但是確實在性能上不如英特爾的Hadoop發行版,無論是監控能力還是穩定性都有很大區別。”