打破TPCx-BB測試記錄又怎樣,會玩Hadoop大數據應用嗎?
隨著移動互聯網的快速發展,數據量急劇膨脹,新經濟模式下,如何從積累的海量數據中挖掘出新的價值,支撐企業及社會發展,是當前大數據大熱的內在驅動力。大數據應用所需要的IT設施的計算資源、存儲資源越來越大,但目前很多處于探索期的大數據應用能否最終挖掘出價值也需持續的投入與不斷嘗試,如何以更快、更省的方式捕捉到大數據的業務商機,是大數據應用企業不得不考慮的現實問題。
大數據應用一般采用Hadoop數據庫,主要得益于其在數據提取、轉換和加載(ETL)方面上的天然優勢。Hadoop的分布式架構,將大數據處理引擎盡可能的靠近存儲,其最核心的設計就是分布式文件系統(Hadoop Distributed File System,簡稱HDFS)和MapReduce。HDFS為海量的數據提供了分布式存儲,則MapReduce為海量的數據提供了分布式計算。Hadoop實現了將單個任務打碎,并將碎片任務(Map)發送到多個節點上,之后再以單個數據集的形式加載(Reduce)到HDFS里,從而充分利用云化的計算與存儲資源,高效完成大數據應用中的業務邏輯處理流程。
TPCx-BB基準測試
TPCx-BB是國際標準組織TPC制定的衡量基于Hadoop的大數據系統的性能基準測試標準TPC Benchmark Express-BigBench的簡稱,華為香農實驗室得益于DC3.0項目積累的豐富大數據底層技術及應用研究經驗,是此標準的重要貢獻者之一,也是唯一參與此標準制定的中國公司。此性能測試指標排名在工業和商業領域中具有很大的影響力。
TPCx-BB測試通過模擬零售商的30個應用場景,執行30個查詢算法來衡量基于Hadoop大數據系統的服務器軟硬件性能,其中一些場景還用到了當前熱門的機器學習算法,如K-Means、Naive Bayes等。TPCx-BB的測試結果,可以全面準確的反映大數據系統端到端的整體運行性能。
TPCx-BB測試的負載特征:
- 涉及結構化、半結構化和非結構化數據類型;
- 30項用例模擬,大數據處理、分析與報表生成;
- 包含短時間(數秒)與長時間(數小時)的大數據任務運行;
- 多種數據集規模的靈活擴展;
- 并行線程支持不同特點的多個Job運行在單個集群上并支持節點擴展;
- 性能和價格指標提供了有意義的性能與成本洞察;
- 支持基于MapReduce、Spark及Tez的Hive的靈活性并擴展覆蓋未來其他框架。
TPCx-BB測試結果評估指標:
- Big Bench 每分鐘查詢 (BBQpm),該指標反映了在三個測試階段(負載測試、能力測試、吞吐量測試),并行運行多個作業測試出的大數據應用集群的性能效率。
- 價格性能比(Price/BBQpm),該指標反映了取得單位性能的成本投入,主要衡量的是性價比。
華為FusionServer 2288H V3測試情況
此次華為FusionServer 2288H V3重點參與了TPCx-BB@3000的測試(3000表示測試數據量為3TB),組網圖見上。具體測試結果如下:
詳細測試數據可以訪問如下TPC官方網站進行查詢了解:
http://www.tpc.org/tpcx-bb/results/tpcxbb_perf_results.asp
通過此次測試結果可以看到,華為FusionServer 2288H V3在基于Hadoop的大數據應用中,性能及性價比在2路x86機架服務器中處于領先地位,顯示出了華為服務器強大的硬件性能及出色的軟硬一體化調優能力。華為近期推出的可支持12及24個NVMe SSD硬盤的2288H V3的升級版,進一步突破服務器的IO性能瓶頸,提升了服務器的整體性能。華為FusionServer 2288H V3是互聯網、電信、金融、能源等行業構建大數據應用計算平臺的***選擇。
華為FusionSever服務器
- 高性能
華為FusionServer 2288H V3,配備2顆英特爾®至強™E5-2600 v3/v4系列CPU,***單處理器可達22核,提供強大的計算性能;支持24條DDR4內存插槽及4/12/24個NVMe SSD硬盤;支持16個3.5英寸或28個2.5英寸硬盤的超大本地存儲空間。
- 高可靠
華為FusionServer服務器元器件采用降額設計,獨特高效散熱設計,嚴苛測試流程,保障極限情況下設備可靠性,實現40℃環溫長期穩定運行,同時整體故障率低于業界15%。
- 高能效
在能耗管理上,采用華為特有DEMT動態能耗管理技術,96%轉換效率的鈦金電源,實現精確的處理器功耗管理、風扇調速等電源管理技術,毫瓦必省。
- 管理便捷
華為FusionServer服務器同時提供方便快捷的管理和維護,獨立的iBMC管理模塊提供SOL、遠程KVM、遠程開關機等管理功能及uMate等批量運維工具,易于管理。
根據Gartner的統計數據,截至2016年第3季度,華為服務器出貨量排名全球前三(不含塔式),增長率***。華為服務器已服務于全球超過5000家客戶,涵蓋政府及公共事業、互聯網、電信、能源、金融、交通、醫療、教育、媒資、制造等行業。