大數據真是媒體的炒作嗎?大數據真的離我們還很遠嗎?或許，發(fā)生在一個世紀之前，人類征服南極的故事能夠回答這個問題。

　　1911年10月，兩支探險隊幾乎在同一時間開啟了南極探險之旅。一個是來自挪威的阿蒙森探險隊，一個是來自英國的斯科特探險隊。

　　這兩支探險隊有著諸多驚人的相似：兩個探險隊的隊長都是海軍出身，且均有10年以上極地探險的經歷;兩支探險隊出發(fā)時間僅相差幾天，面對同樣惡劣的極地環(huán)境;沒有任何現代的通信手段，雙方因而都處于孤立無援的境地;兩支探險隊歷盡艱辛先后抵達南極。

　　然而，兩支探險隊的結局卻大不同：阿蒙森率領的挪威探險隊按照原定的日期安全返回，而斯科特率領的英國探險隊則在返程中不幸全隊覆沒。

　　這一典型的MBA案例，引起了美國管理學家兼暢銷書作者吉姆·柯林斯的濃厚興趣。

　　柯林斯注意到，阿蒙森為了征服南極做了很多準備，諸如：提前進行高強度身體訓練、向紐因特人學習如何極地生存、準備了充足的補給品等等，但關鍵的制勝原因是阿蒙森放棄了公認的最佳出發(fā)地，而選擇了誰都不看好但卻距南極更近的出發(fā)地。最為重要的是，阿蒙森的決策是基于對此前60年來南極地區(qū)探險隊日志的全面分析。

　　這種基于實證主義的創(chuàng)造性不僅讓阿蒙森成為征服南極第一人，也促成了柯林斯的新著《選擇卓越》。眾所周知，柯林斯此前的三本暢銷書《基業(yè)長青》、《從優(yōu)秀到卓越》和《再造卓越》，均側重于研究企業(yè)如何通過提高績效最終實現卓越。但是，《選擇卓越》則把研究的重點放在企業(yè)如何在錯綜復雜而急劇變化的外部環(huán)境中成就卓越。

　　簡而言之，柯林斯的前三本暢銷書關注的是企業(yè)內部管理績效的提升，關注的是結構化數據應用，因為基于流程的應用所處理的數據對象只能是結構化數據。而柯林斯的新著《選擇卓越》側重于復雜劇變的企業(yè)外部環(huán)境，要實時捕捉外部環(huán)境的變化唯有依賴非結構化數據。

　　在柯林斯《選擇卓越》中文版(2012年)出版之前，《中國計算機報》已于2011年7月公開發(fā)布了《走向以人為本的信息化》白皮書。白皮書強調：國際金融危機對產業(yè)經濟的影響，福島核泄漏與曼谷水災等突發(fā)事件對產業(yè)的沖擊，行業(yè)主流技術的生命周期對市場格局的顛覆，自然資源與環(huán)境對企業(yè)發(fā)展的約束，經濟全球化對國內企業(yè)基于區(qū)域市場積累的管理經驗和資源的顛覆，這些諸多因素的交織，構成了當今復雜劇變的企業(yè)外部環(huán)境。

　　面對復雜外部環(huán)境，企業(yè)唯有通過非結構化數據來實時捕獲環(huán)境的變化，并與當今基于流程的企業(yè)結構化數據應用相結合，才能充分挖掘出為可企業(yè)決策提供強有力支撐的數據價值，進而做出精確的決策，才能在實時駕馭復雜性的過程中走向卓越。

　　其實，早在2009年，聯(lián)合國就發(fā)出了“全球脈動”的倡議。該倡議認為，必須建立新的數字化指標，以實時了解外部情況變化，并及時地為各國決策者提供反饋。

　　聯(lián)合國2012年發(fā)布了《大數據促發(fā)展：機遇與挑戰(zhàn)》報告。報告指出，世界正經歷著一場數據革命，而這一革命并不局限于工業(yè)化世界，發(fā)展中國家和地區(qū)同樣會產生出大量的實時信息流。由于世界正變得越來越難以控制，而事物之間存在著相互聯(lián)系，制定者更傾向于利用這些關系，采用更為簡單廉價的方式來防止世界不穩(wěn)定因素造成的損害或將這種損害保持在最低限度。

　　當今，經濟全球化已將國家與國家、企業(yè)與企業(yè)緊密地聯(lián)系在一起。國家也好，企業(yè)也罷，都面對著復雜劇變的環(huán)境。誰能駕馭復雜性，并且獲益于這種復雜性——在競爭中勝出并走向卓越，某種意義上說，是在大數據上見分曉。

大數據市場在哪里

　　大數據是一筆龐大無比的資產，但如何“盤活”資產，讓大數據證明自己?這才是關鍵所在。

　　可喜的是，上至國家治理，下至企業(yè)決策乃至個人生活服務，都可以獲得大數據的鼎力支持。這些已經出現了許多鮮活的例子——印第安納大學利用谷歌提供的心情分析工具，從近千萬條網民留言中歸納出六種心情，進而對道瓊斯工業(yè)指數的變化進行預測，準確率達到87%。華爾街德溫特資本市場公司分析3.4億微博賬戶留言，判斷民眾情緒，決定公司股票的買入或賣出。阿里巴巴根據在淘寶網上中小企業(yè)的交易狀況篩選出財務健康和講究誠信的企業(yè)，對他們發(fā)放無需擔保的貸款。歐洲多個城市通過分析實時采集的交通流量數據，指導駕車出行者選擇最佳路徑，改善城市交通狀況。

　　在中國，大數據應用是何種景象?“為了梳理大數據應用現狀、把握未來發(fā)展脈絡、為大數據的健康發(fā)展創(chuàng)造良好的氛圍，賽迪顧問組織了中國大數據重點行業(yè)應用調研項目，涉及的調研對象包括：工業(yè)和信息化部相關部門、地方經濟和信息化委員會、電信運營商、金融企業(yè)、IT廠商等。”賽迪顧問云計算產業(yè)研究中心韓耀強介紹道。

　　經過為期三個月的調研，賽迪顧問發(fā)現了關于中國大數據市場的一些關鍵數字——2012年中國大數據IT應用市場規(guī)模約為10.57億元，其中，互聯(lián)網、電信、金融等行業(yè)大數據IT應用投資占據較大的市場份額，分別達到16.8%、12.3%和11.2%。未來三年大數據市場規(guī)模將呈現爆發(fā)式增長——近90%的年復合增長率，到2015年，大數據IT應用市場規(guī)模將達到71.5億元。

　　“通過調研和座談，我們發(fā)現智慧城市、電信、金融等行業(yè)對大數據的應用需求迫切，涌現出了一些有代表性的案例。”韓耀強指出，“這三個行業(yè)成為典型是有深層次原因的：我國智慧城市建設已經進入提速發(fā)展時期，年初，住建部公布了90 個首批國家智慧城市試點名單，并配套4400 億授信額度;新式移動互聯(lián)網終端熱度居高不下，移動互聯(lián)網業(yè)務的需求呈爆炸式增長，電信業(yè)將圍繞著面向移動互聯(lián)網的應用和內容平臺轉移，以大數據為依托，走向以融合為中心的新時代;金融業(yè)務的載體與社交媒體、電子商務的融合越來越充分，金融業(yè)僅對原有15%的結構化數據進行分析已經不能滿足發(fā)展的需求，急需借助大數據戰(zhàn)略打破數據邊界，構建更為全面的企業(yè)運營全景視圖。”

　　對行業(yè)用戶，賽迪顧問從專業(yè)咨詢的角度給出了兩點建議：“一是通過云平臺實現數據大集中，形成數據資產;二是深度挖掘大數據的價值，推動企業(yè)智能決策。”這就要求企業(yè)打破“分散在各個業(yè)務系統(tǒng)中的數據無法形成集中的資源池、不能互聯(lián)互通”的尷尬局面，把集團的信息化架構向云平臺遷移，實現數據的大集中與統(tǒng)一管理。這也要求企業(yè)重視對大數據的價值的深入分析與挖掘，推動企業(yè)決策機制從“業(yè)務驅動”向“數據驅動”轉變，提高企業(yè)競爭力。

　　而作為數據處理、行業(yè)信息化解決方案中核心組件和平臺的提供商的英特爾，則從自身對行業(yè)的理解出發(fā)，給出了頗具實踐意義的建議和看法。

　　英特爾數據中心軟件部中國區(qū)CTO苗凱翔表示，大數據是構建智慧城市必不可少的重要元素。大數據在智慧城市中的應用需要分三個階段來具體實施。首先要進行數據的整合。其次是數據挖掘，這也是大數據管理的重點所在。這需要軟、硬件的高度配合與協(xié)作，也是當今IT企業(yè)爭相角逐的“賽場”。最后是把大數據變成可操作的行動，從而指導決策和運維。英特爾數據中心軟件部大數據產品技術顧問黎超認為，金融業(yè)和電信業(yè)本質上都屬于服務行業(yè)，在服務行業(yè)里最關鍵的是大數據的價值杠桿，即怎么樣去做好客戶的精細化管理和精細化刻畫。

　　英特爾的合作伙伴同樣有話要說。用友醫(yī)療衛(wèi)生信息系統(tǒng)有限公司副總裁、用友智慧健康研究院首席專家徐春華表示，數據量一旦達到PB級，運行時間就成為關鍵參數，并行計算框架和基于列的數據庫架構是正確的解決方法。博康智能網絡科技股份有限公司董事兼CTO田廣認為，結構化數據到非結構化數據的轉變、大數據到可用數據應用的轉變、保證運算前提下后臺的運行和存儲是行業(yè)用戶最直觀的需求。

　　大數據機遇青睞誰

　　“一方面，大數據的每個環(huán)節(jié)對專業(yè)性的要求都很高，用戶的IT部門無法在所有環(huán)節(jié)都達到較高的專業(yè)性;另一方面，用戶更關心大數據分析的結果而不是處理過程，這使得用戶對大數據整體解決方案的需求巨大。”賽迪顧問云計算產業(yè)研究中心陳靚表示，IT廠商應該好好把握大數據浪潮，以獲得再次增長的動力。

　　英特爾、EMC、甲骨文、SAP、IBM、微軟……巨頭們紛紛在行動，并分別在大數據采集、存儲、讀寫、運算、分析等多個環(huán)節(jié)形成了各自的優(yōu)勢，大數據IT市場一片繁榮景象。

　　賽迪顧問總結了IT巨頭在大數據上的特長：英特爾一方面準備了全面的，端到端的，跨越了凌動、單路雙路及多路至強處理器產品的核心硬件支持，所謂端到端，就是從大數據的采集，到傳輸，再到存儲、處理和查詢，以及分析階段，都有相對應的創(chuàng)新予以支撐。而由英特爾中國團隊領銜開發(fā)的Apache Hadoop軟件的英特爾分發(fā)版不但可提供開源版本所不具備的強大技術支持，還針對英特爾架構硬件平臺進行了充分優(yōu)化;Oracle融合中間件對大數據整個生命周期提供全面支持，包括快速數據分析、整合不同大數據源，已經從海量時間流中處理高質量數據的能力;SAP HANA和SAP Sybase IQ都將進一步支持大數據數據源;IBM的優(yōu)勢在于其信息管理平臺、信息整合與治理、分析能力，以及平衡配置的IT基礎架構;微軟希望將Hadoop集成到Windows系統(tǒng)中，在Windows Azure、Windows Server、SQL Server 2012上全面支持Hadoop。

　　不難發(fā)現，x86架構為大數據提供了最底層的支持。“Hadoop的分布式架構使得大數據處理基于x86架構成為可能， Hadoop可以利用高性價比的x86服務器組成高性能集群，當數據量增加到無法承載的時候，只需增加相應節(jié)點即可滿足存儲和計算需求，價格低廉的存儲和計算是大數據的推動力。同時，Hadoop基于x86架構運行，也是 Hadoop快速發(fā)展并被廣泛接受的重要原因。”韓耀強指出，x86的橫向可擴展性是其天然優(yōu)勢，也是實現大數據存儲和處理基礎架構的橫向擴展的前提。此外， x86節(jié)點提供了較高的計算密度、較低的成本和功耗，以及簡單靈活的管理。

　　“大數據領域的軟硬件集成顯得很重要——通過軟硬集成的整體方案，可以使軟硬件性能得到更好的優(yōu)化，保證存儲、服務器以及數據分析軟件之間的兼容性、一致性以及它們的可擴展性，從而保障用戶的數據安全與數據分析效率。”實際上，英特爾已經將這一理念很好地在其大數據策略中貫徹執(zhí)行了——英特爾亞太研發(fā)有限公司總經理、英特爾軟件與服務事業(yè)部中國區(qū)總經理何京翔強調，以基于至強處理器的高效IT基礎設施為基石，英特爾在數據組織與管理層，針對大數據的分發(fā)和管理需求，提供針對英特爾平臺優(yōu)化的Apache Hadoop軟件的英特爾分發(fā)版和相配套的技術服務;在分析與發(fā)現層，提供針對客戶端與服務器端算法開發(fā)的支持;在決策支持與IT服務層，聯(lián)合合作伙伴，提供更為優(yōu)化的可視化應用體驗。

　　可能的競爭格局

　　x86架構可以在大數據領域繼續(xù)獨領風騷嗎?

　　“對計算能力要求比較高的用戶，x86是首選，而大數據要求CPU的指令集更適合非結構化、半結構化數據的處理，內存讀寫速度更快，內存或主板的邏輯結構更適合進行內存計算等高速計算。”軟件與信息服務業(yè)研究所研究員劉瓊表示，“x86架構在這些方面的優(yōu)勢明顯。”

　　軟件支持則是x86的另外一張王牌——在x86平臺上涌現了很多支持大數據的軟件。僅以英特爾為例，它從硬件和軟件層面分別對Hadoop進行優(yōu)化，為企業(yè)大數據處理提高了穩(wěn)定性和易用性。英特爾基于Hadoop開源框架針對英特爾平臺進行了一系列優(yōu)化工作，使得在英特爾平臺上實現Hadoop的處理能力達到“接近于實時”的處理效果。

　　那么大數據領域的開源軟件與商業(yè)軟件會以何種形式相處?“很多企業(yè)會感到郁悶，覺得被軟件廠商綁架了，因為要不停地進行巨額的軟件投資以跟上新技術的發(fā)展步伐。從互聯(lián)網行業(yè)的成功范例來看，可推廣的模式是開源與商業(yè)化相結合。”黎超表示，開放使得用戶能夠建立完整的知識體系，商業(yè)化則能引入競爭，在開放與商業(yè)化結合的平臺上，新技術的發(fā)展會讓用戶和解決方案提供商實現雙贏。

　　在開源軟件的基礎上添加自家的“獨門絕技”的同時(這是英特爾、IBM、微軟等廠商紛紛采用的策略)，也為開源社區(qū)積極貢獻自己的力量——作為開源界的知名支持者，英特爾為 Apache Hadoop 框架及相關項目做出了重要貢獻，如使得開源社區(qū)和用戶能夠充分利用現有及未來數據中心的基礎硬件、存儲和網絡技術。

#p#

　　大數據走向何方

　　“從政策面、市場、技術等層面，我們都能找到大數據前行的動力。”韓耀強介紹道。的確，雖然目前國家還沒有專門針對大數據出臺相關政策，但對于海量數據處理技術等具體技術給予了明確的支持。市場一致認為大數據的深度應用不僅有助于企業(yè)經營活動，還有利于推動國民經濟、社會管理發(fā)展，這激發(fā)了行業(yè)用戶對數據分析與挖掘技術的更為強烈需求。而就技術而言，新一代信息技術正以前所未有的速度轉化為現實生產力，深刻改變世界科技和經濟發(fā)展形態(tài)，大數據則是新一代信息技術的先鋒和代表，已經成長為一種新的業(yè)態(tài)。

　　基于對大數據產業(yè)發(fā)展的歷史及未來趨勢的理解和把握，賽迪顧問繪制了大數據產業(yè)發(fā)展路線圖，從運行支撐層、組織與管理層、分析與發(fā)現層、應用服務層進行了解讀：運行支撐層的發(fā)展主要集中在高性能服務器集群以及存儲技術的發(fā)展上，預計未來高性能服務器集群將更多地采用x86架構，同時大數據一體機將成為大數據產品中重要的產品形態(tài);組織管理層的技術創(chuàng)新主要集中在Hadoop的持續(xù)完善，基礎架構和技術的更新必將給大數據組織帶來管理效率上的提升;在分析與發(fā)現層，各種BI軟件的推出是該層的主要特點之一，此外AI、機器學習等領域也得益于大數據處理技術的快速發(fā)展，大數據對于決策支撐的意義將日益凸顯;在應用服務層，大數據服務將從目前主要服務于企業(yè)自身需求的層面擴展到更廣闊的領域，一些針對個人的大數據服務也將推出，此類服務的泛在化成為主要特點。 整體而言，大數據產業(yè)發(fā)展將呈現“平臺化”、“精準化”、“實時化”、“預見化”的特點。

　　“話說回來，大數據產業(yè)的發(fā)展離不開政策的支持、用戶意識的覺醒和解決方案提供商的努力。”韓耀強指出，制定積極的政策法規(guī)并創(chuàng)建適度寬松的大數據發(fā)展環(huán)境，以及啟動大數據相關立法，從標準和法律層面保障信息安全會成為“獻計獻策”者向政府提出的建議。而IT廠商則應該深刻洞察用戶需求，提供高可用性的整體解決方案，以細分領域的創(chuàng)新為突破口，提供有行業(yè)特色的專家級方案。

　　case1 浙江省臺州市智能交通管理解決方案

　　案例要點：臺州市交通部門在不到1秒內即可得到從24億條過車數據中根據車牌號查詢出的行車軌跡。

　　浙江省臺州市經濟發(fā)展迅猛，地方交通持續(xù)擁堵，機動車輛不斷增加。為此，地方交通部門采用了數據驅動的方法，在市內重要檢查點安裝了上千臺數字監(jiān)控設備，7×24小時不間斷捕獲圖像和視頻數據，每月數據量達到TB量級。

　　臺州市交通部門利用22臺基于英特爾至強 E5系列的服務器、198TB存儲空間構建了臺州市交通數據中心，對交通信息實現集中存儲與管理。利用Hadoop 分布式文件系統(tǒng)(HDFS)和Apache HBase實現基礎過車結構化數據的永久存儲，可以實時對數據檢索，并隨時無縫擴容。依托英特爾開放數據分析平臺的優(yōu)勢，實現海量數據的挖掘和分析。

　　英特爾至強E5系列增強了系統(tǒng)I/O處理能力，單服務器允許平均每秒250次500KB尺寸圖片同步傳輸或2000次異步并發(fā)存儲。Apache Hadoop軟件的英特爾分發(fā)版提供了高度容錯性和高吞吐量的海量數據存儲解決方案，可為海量信息提供可靠存儲，并無縫容量擴充。Apache Hadoop軟件的英特爾分發(fā)版滿足了車輛監(jiān)控系統(tǒng)復雜的數據查詢需求，不到1秒的時間即可得到從24億條過車數據中根據車牌號查詢出的行車軌跡。

　　臺州市機動車違法圖像信息在系統(tǒng)的保存周期從3個月延長到24個月，交通部門可根據車輛的顏色、車型、號牌等信息實時查詢其歷史行為、行車路線和車輛營運公司、駕駛人等關聯(lián)信息。交警可以從24億條過車數據中輕松檢索被監(jiān)測機動車的行車軌跡。管理部門可以便捷利用關聯(lián)車輛的分析數據。根據24億條實際過車數據進行兩卡點、多卡點的伴隨車輛和碰撞車輛的復雜分析，耗時僅為10秒左右。

　　case2 中國移動廣東分公司詳單實時查詢

　　案例要點：用戶可在1秒內查到6個月的詳單數據，并支持2000個查詢并發(fā)。

　　中國移動現有計費系統(tǒng)維護成本高，無法應對個性化客戶需求的增長。RDBMS 解決方案無法滿足存儲規(guī)模和實時查詢要求，進而無法為用戶提供滿意的服務。

　　中國移動廣東分公司使用專為 Hadoop 軟件優(yōu)化的至強5600系列通用計算平臺取代 RISC 平臺，并采用Apache Hadoop軟件的英特爾分發(fā)版來消除數據訪問瓶頸和發(fā)現用戶使用習慣，開展更有針對性的營銷和促銷活動。并利用 Hadoop分 布式數據庫(Hadoop HBase)擴展存儲。“大數據表”增強了 Hadoop HBase，可以跨節(jié)點自動分割數據表，降低存儲擴展成本。

　　基于Apache Hadoop軟件的英特爾分發(fā)版的基本優(yōu)化算法，使應用程序變得更高效，計算存儲數據可以更均衡地分布。借助至強系列硬件技術，英特爾至強處理器安裝程序控制的自動調諧配置有助于無縫地優(yōu)化性能。經過充分測試的Apache Hadoop軟件的英特爾分發(fā)版可確保長期穩(wěn)定運行，它與最新的開放源碼相集成，確保了各個組成部分之間的一致性，并且得到英特爾充分支持，從而簡化了運營管理。

　　新解決方案的性能顯著提高，使整體硬件投資減少，提高能源效率，成本明顯低于基于RISC的舊系統(tǒng)。由于集群分配服務的總體網絡帶寬高，這個解決方案帶來了高速的 HBase 數據庫訪問。新賬單查詢系統(tǒng)具有較低的總體擁有成本、高擴容能力和高處理性能，可讓用戶在1秒內查到6個月的詳單，并支持2000個查詢并發(fā)，從而為中國移動廣東公司在高業(yè)務量的背景下不斷改進客戶服務奠定了堅實的基礎。

　　case3 遼寧省錦州市區(qū)域醫(yī)療平臺

　　案例要點：遼寧省錦州市區(qū)域醫(yī)療平臺滿足包括居民健康檔案、電子病歷、公共衛(wèi)生及綜合管理等1億條相關記錄的高并發(fā)檢索和實時數據分析要求。

　　錦州是遼寧西部城市群區(qū)域性中心城市和重要港口城市，戶籍人口規(guī)模約310 萬。2012 年3 月，錦州市政府正式啟動“健康城市”戰(zhàn)略，建立以城市為單位建設的區(qū)域衛(wèi)生數據中心，以居民健康卡為紐帶，覆蓋衛(wèi)生信息化的主要業(yè)務領域。存儲的數據將包括居民健康檔案、電子病歷、公共衛(wèi)生及綜合管理等相關數據，20 年左右的數據量預計會達到PB 級，傳統(tǒng)關系型數據在大數據存儲實現中存在局限性。另外，海量數據存儲、備份、擴容、快速檢索、高效數據交換等面臨新的挑戰(zhàn)。

　　錦州市政府利用基于英特爾至強E5 的服務器平臺，以及Apache Hadoop軟件的英特爾分發(fā)版，搭建區(qū)域醫(yī)療大數據計算架構，以滿足海量數據(1億以上的記錄數)的高并發(fā)檢索和實時數據分析的性能要求。

　　基于該區(qū)域醫(yī)療平臺，醫(yī)生通過對患者就診信息的快速檢索，可以做出更準確的診斷，有效避免重復用藥、錯誤用藥等。該區(qū)域醫(yī)療平臺支持高并發(fā)的大數據檢索，可與居民健康教育相結合，幫助居民建立起個人健康管理的理念，從治療轉向預防。同時，它支持靈活的數據分析建模和數據分析挖掘，為區(qū)域衛(wèi)生管理者提供了接近實時的數據分析結果，可以廣泛應用在疾病控制、醫(yī)療行為監(jiān)管、醫(yī)療質量管理等領域。

　　與傳統(tǒng)數據庫和小型機的方案相比，英特爾架構大數據解決方案具有更好的開放性和更好的經濟性，其集成的圖形化界面提供了便捷的節(jié)點管理和橫向擴展功能，大幅降低了管理成本。

　　case4 上海理想跨區(qū)域實時視頻監(jiān)控系統(tǒng)

　　案例要點：“全球眼”并行海量視頻分析和應用平臺性能提升5倍，查詢和分析能力提高了10倍以上。

　　視頻監(jiān)控系統(tǒng)已成為城市環(huán)境中的一種標準做法，旨在幫助協(xié)調應急響應，引導交通，并加強公民的人身安全保護效果。中國電信上海理想信息產業(yè)(集團)有限公司基于中國電信“全球眼”數字視頻監(jiān)控系統(tǒng)，使用Apache Hadoop軟件的英特爾分發(fā)版，實現了對視頻數據的實時分析和存儲，構建并行海量視頻分析和應用平臺。

　　新平臺的基本設計要求是必須提供實時圖像服務。在緊急時刻，企業(yè)利用這些視頻數據來決定所采取的應對措施。這就要求背景視頻并行化分析、存儲和處理子系統(tǒng)都具備極高的處理速度。該平臺可解決以下兩個問題： 視頻圖像的實時分析、高效的視頻數據存儲系統(tǒng)(在“全球眼”系統(tǒng)中，每個前端攝像頭的碼流速率都在6Mbps以上)。

　　在采用了Apache Hadoop軟件的英特爾分發(fā)版的分區(qū)存儲架構之后，與上海理想以往部署的傳統(tǒng)數據庫相比，各個應用的分析耗時更短。Hadoop分布式數據庫集群中的服務器既是計算節(jié)點又是存儲節(jié)點，并使用HDFS分布式文件系統(tǒng)讓集群中的所有節(jié)點形成一個統(tǒng)一的文件系統(tǒng)。HDFS分布式文件系統(tǒng)的訪問帶寬是整個網絡的聚合帶寬，可以達到幾百Gbps以上，完全消除了視頻存儲的訪問帶寬限制。Apache Hadoop軟件的英特爾分發(fā)版在分配搜索任務時，更可以實現存儲位置感知，將任務分配到視頻所存儲的節(jié)點之上，充分利用本地硬盤帶寬，使訪問吞吐量進一步提高。

　　上海理想基準測試表明，使用Apache Hadoop軟件的英特爾分發(fā)版后性能提升了5倍，而且可實現精細的作業(yè)調度和任務調度。

　　記者手記

　　承傳PC的理念

　　如果從創(chuàng)新經濟學和產品生命周期的角度來梳理PC產業(yè)的發(fā)展歷史，可以發(fā)現很多頗具啟發(fā)性的閃光點。

　　從創(chuàng)新經濟學的觀點來看，人類進入工業(yè)社會后，經歷了5次長周期的經濟增長，這5次增長長波分別是由以水力、蒸汽機、電力、內燃機和IT為代表的主導技術所驅動的。新的主導技術的顛覆性體現在其擴散過程中，即在其普及過程中形成新的經濟形態(tài)，進而推動經濟的發(fā)展。

　　綜觀IT歷史，小型機替代主機，PC又替代小型機，原因在于小型機和PC能夠為更多的人所使用。目前，“移動互聯(lián)網+云計算”成為新一代的主流技術。智能移動終端能夠讓云計算提供的強大的計算技術，以更快的速度在更大的范圍擴散，因此它作為PC的延伸和擴展，成為新的個人計算市場的主流不可避免。

　　在信息時代，IT的主導地位不會變化，而計算技術所依托的不同的產品形態(tài)如：大型機、小型機或PC是會發(fā)生變化的，這些變化受到產品生命周期的制約。

　　回顧PC的高速發(fā)展，不難看出基于標準的開放性和規(guī)模經濟效益是PC成功的兩個根本原因。開放標準大大降低了市場進入門檻并加劇了市場的競爭，從而促進了PC相關技術的快速發(fā)展;而大規(guī)模制造通過降低成本，將計算技術擴散到更大的范圍。

　　如今，云計算成為PC理念忠實的傳承者。在規(guī)模經濟效益也就是降低用戶使用成本上，云計算按需付費的服務模式使得用戶免除了一次性購買產品帶來的資金壓力，而云計算的核心技術MapReduce的設計理念就是，系統(tǒng)中節(jié)點故障是常態(tài)，關鍵是在存在計算節(jié)點故障的系統(tǒng)中確保正確的計算結果，這就使得谷歌等互聯(lián)網公司基于x86 CPU自行設計服務器，從而避免了采用品牌服務器的額外的龐大開銷。

　　在開放性上，作為MapReduce的開源實現，Hadoop以其開源的優(yōu)勢，為眾多互聯(lián)網企業(yè)所采用。隨著大數據的到來，2012年甲骨文、IBM和微軟三大數據庫廠商不約而同地“屈尊”宣布采用Hadoop架構作為大數據系統(tǒng)平臺，從而印證了大數據開放性的威力。

　　Hadoop與x86的結合已經成為云計算平臺的事實標準，考慮到大數據的應用也是基于Hadoop的，Hadoop+x86無疑也將成為大數據平臺的事實標準。

　　作為十多年來PC技術和市場的主導者，英特爾肯定不甘在云計算特別是大數據市場上扮演候選者之一的角色。在Hadoop已經成為市場上不二之選且作為開源軟件而不受任何廠商左右的情況下，英持爾的創(chuàng)新就是要實現基于hadoop+x86，又高于hadoop+x86的策略。

　　2012年，英特爾發(fā)布了Apache Hadoop軟件的英特爾分發(fā)版，將軟件與CPU、固態(tài)硬盤、網絡等硬件集成優(yōu)化，從而使得基于英特爾的至強CPU+Hadoop發(fā)行版的系統(tǒng)，比市面上其他的Hadoop+x86系統(tǒng)在性能上表現得更好。

　　如今，英特爾已經在處理器的指令集層面增添了對于自家Hadoop、對于大數據應用的支持。可以預期，未來英特爾會在處理器中針對大數據算法進行更多的優(yōu)化，以實現從候選者到主導者的轉變。