英特爾大數(shù)據(jù)分布式架構(gòu)詳解
2013年4月26日-27日,由51CTO傳媒集團旗下WOT(World Of Tech)品牌主辦的2013大數(shù)據(jù)全球技術(shù)峰會在北京富力萬麗酒店召開。本次峰會將圍繞大數(shù)據(jù)基礎(chǔ)架構(gòu)與上層應(yīng)用的生態(tài)系統(tǒng),解決大規(guī)模數(shù)據(jù)引發(fā)的問題,探索大數(shù)據(jù)基礎(chǔ)的解決方案,激發(fā)數(shù)據(jù)挖掘帶來的競爭力,讓數(shù)據(jù)發(fā)出聲音。51CTO作為本次峰會的主辦方,將全程視頻、圖文直播報道這場數(shù)據(jù)的盛宴,更多內(nèi)容請點擊專題:2013大數(shù)據(jù)全球技術(shù)峰會。
在4月27日Hadoop生態(tài)系統(tǒng)及分布式架構(gòu)設(shè)計專場論壇中,來自英特爾(中國)的朱海峰先生發(fā)表了主題為“英特爾大數(shù)據(jù)技術(shù)與分布式架構(gòu)設(shè)計詳解”的演講。演講中,朱海峰先生介紹了英特爾怎么看大數(shù)據(jù)時代下數(shù)據(jù)的挑戰(zhàn),英特爾的合作案例等。
演講展示中,朱海峰首先將傳統(tǒng)的數(shù)據(jù)處理和大數(shù)據(jù)時代的數(shù)據(jù)處理做了詳細(xì)的分析和對比。并且闡述了英特爾在大數(shù)據(jù)時代扮演的角色,英特爾的特色是面向大數(shù)據(jù)應(yīng)用,在云計算、存儲和網(wǎng)絡(luò)方面提供更快更為高效的架構(gòu)級別的優(yōu)化方案;持續(xù)投入大數(shù)據(jù)應(yīng)用開發(fā),促進軟件系統(tǒng)和服務(wù)的不斷優(yōu)化和創(chuàng)新;推進終端設(shè)備和傳感器的智能化,構(gòu)建互聯(lián)、可管理的和安全的分布式架構(gòu)。
然后朱海峰提出了軟硬件結(jié)合的重要性與實效性。
緊接著介紹了Hadoop:
一個分布式系統(tǒng)基礎(chǔ)架構(gòu),由Apache基金會開發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下,開發(fā)分布式程序。充分利用集群的威力高速運算和存儲。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)(Hadoop Distributed File System),簡稱HDFS。HDFS有著高容錯性的特點,并且設(shè)計用來部署在低廉的(low-cost)硬件上。而且它提供高傳輸率(high throughput)來訪問應(yīng)用程序的數(shù)據(jù),適合那些有著超大數(shù)據(jù)集(large data set)的應(yīng)用程序。HDFS放寬了(relax)POSIX的要求(requirements)這樣可以流的形式訪問(streaming access)文件系統(tǒng)中的數(shù)據(jù)。
Intel Hadoop商業(yè)發(fā)行版
Intel Hadoop后臺管理
Intel Hadoop性能優(yōu)
其后依次介紹了如下內(nèi)容;
HBase寫入性能討論,大對象的高效存儲(IDH2.3),Interactive Hive over HBase,性能評測工具Intel HiBench,新的存儲架構(gòu)NVM,軟件存儲加速:Intel CAS,性能指數(shù)級提升,對象存儲架構(gòu),基于Hadoop的新型數(shù)據(jù)中心方案
以上是51CTO.com記者從一線為您帶來的精彩報道。后續(xù)我們還有更加精彩的獨家報道,敬請關(guān)注。