IDC預測，中國未來幾年，會有越來越多的企業級用戶試水大數據平臺和應用，而Hadoop被看成大數據分析的“神器”，將成為最耀眼的“明星”。Hadoop相關的數據應用遍地開花,在各行各業做得風生水起。僅以互聯網為例，目前京東、淘寶、騰訊、百度、Amazon、一淘、人人、優酷、搜狐、搜狗、暴風影音、Ebay、樂視、PPTV、小米等IT企業都親自操刀,利用Hadoop 大干一場。 正所謂時勢造英雄，大數據時代是一個英雄輩出的時代，十名Committer齊聚京城，屆時Hadoop行業英雄譜將唱響2013 Hadoop中國技術峰會的現場。我們為大家爆料了五個頗具代表的Hadoop行業案例，為您分享2013 Hadoop中國技術峰會的精彩內容。大會官網：http://www.chinahadoop.com/

 

Hortonworks 再續前緣: Hadoop 2.0 強勢來襲

 

俗話說得好，“聰明絕頂！”2013 Hadoop中國技術峰會特邀的這位光頭老外就是大名鼎鼎的Hortonworks公司的亞太技術總監Jeff Markham。大數據分析服務公司Hortonworks乃名門雅虎之后，它與雅虎聯手貢獻了Hadoop主干項目80%以上的源碼。此外，Hortonworks公司還被認為是 Hadoop 2.0、Apache Hadoop Yarn的主要貢獻者。

 

 

在本次2013 Hadoop中國技術峰會中，Jeff演講的重要主題之一是Hadoop2——Yarn。談到YARN的誕生，Jeff表示，舊版MapReduce的JobTracker/TaskTracker機制需要通過大規模的調整來修復它在可擴展性、內存消耗、線程模型、可靠性和性能方面的缺陷。Hortonworks在著手構建Hadoop2.0時，希望從根本上重新設計Hadoop的架構，從而達到可以在Hadoop上運行多個應用程序并處理相關數據集的目的。這樣一來，多種類型的應用程序都可以高效、可控地運行在同一個集群上。這是以Hadoop 2.0為基礎的Apache YARN之所以能夠誕生的真正原因。

 

京東在電商行業的淘金利器 ：利用Hadoop在大數據領域大展拳腳

 

也許Jeff錯過了中國網購的“龍卷風”，相信他還來不及體驗中國的雙十一有多么地瘋狂。不過沒關系，如果您有機會參加2013 Hadoop中國技術峰會，不妨曬曬雙十一那些可圈可點的網購吸金數字，160萬個文胸高過3個珠穆朗瑪峰，9小時銷售的紙尿褲可以吸干6個西湖。相信精明的他會利用這個機會找京東的人推銷一下YARN。

 

 

互聯網行業，誰掌握了用戶數據，誰就有資本賺錢。以低價、正品行貨而躋身電商巨頭行業的電商京東吸引了大批的粉絲，十年來積累了上億個寶貴價值的用戶數據。傳統公司如銀行、保險機構、電信企業等，它們的數據大多都是結構化的；而互聯網公司像百度、騰訊等企業的數據，多來源于網絡評論、用戶日志等，這些數據是非結構化或半結構化的。京東之類的電商企業的數據處于二者之間：從用戶下單到倉儲分揀，再到配送，整個交易鏈條上的數據是結構化的；而用戶的網站瀏覽行為、購買評價等各種數據是非結構化的。京東需要做的是將結構化和非結構化的數據巧妙的融合起來，從而實現客戶洞察、用戶定位、風險評估等一系列與大數據有關的分析和決策行為。

 

在電商淘金熱潮中，大數據已經成為了京東所向披靡的競爭利器。如何利用大數據來挖掘這十年積累的數據，為企業提供決策支持，支持京東更好更大的發展，是擺在京東Hadoop團隊面前的核心難題。為此，2013 Hadoop中國技術峰會同時邀請了3位資深京東Hadoop技術專家，從各個維度深入剖析京東的大數據Hadoop應用，包括營銷體系、廣告推放、倉儲調撥、銷售預測，物流配送等。舉個例子，用戶沒有來的時候有貨，這并不表明用戶來的時候一定會有貨。京東需要對用戶訪問量和商品數據進行分析，整合出一個較為準確的現貨率，實時提供給采購部門備貨，從而優化用戶體驗。

 

如何在合適的時間向目標客戶推送正確的內容？幾乎所有的電商企業都會基于用戶的購買行為做精準營銷。京東也不例外，每天都會產生幾億的PV，但其先進的Hadoop的數據分析手段蓋過了簡單的E-mail與短信勢頭。京東依靠大數據對用戶建模，進行正確的畫像分析、定位模型。簡單來講，京東利用Hadoop對對用戶海量評論和搜索日志的分析和挖掘，包括性別、年齡、是否有房有車等多個維度，制定大數據分析模型，從而判斷用戶是購買沖動型還是目標明確性，理解用戶的購買意圖，然后根據不同用戶屬性推薦不同的商品，從而提升用戶體驗，給用戶帶來了更多的價值。

 

小米進軍云服務行業：大力發展HBase技術

 

如果說58是個神奇的網站，那么小米就是一個神奇的公司。對比一下，歷經百年的老牌諾基亞加上全部專利的總資產才72億，而成立不久的小米估值造就超過了100億美元。 談起小米，它的饑餓營銷法在中國市場可謂如火如荼，就連蘋果的黃牛都開始囤積小米了。相比于小米手機，小米大數據顯得并不張揚，但這絲毫不影響它在大數據領域的實力。這不，HBase的總牽頭人Michael Stack就專程來看看這個神奇的公司。要知道，小米云服務的大部分結構性數據都是采用HBase的延伸技術存儲，小米提交了65項HBase的補丁，其中37項已經被并入HBase主代碼樹。而作為小米大數據團隊而言，當然也不會錯過中國最有價值的Hadoop技術盛宴——2013 Hadoop中國技術峰會這個平臺，來為大家現場分享小米云服務是如何運用HBase相關技術的。

大數據在視頻中的數字游戲：優酷土豆利用Hadoop挖掘數據中的價值

 

視頻似乎是看不完的，看完一個視頻，會有一個又一個的相關的視頻推薦，視頻行業儼然成為了大數據時代的先鋒。優酷土豆作為一家耳熟能詳的大型視頻網站，擁有海量的視頻文件。有這樣一種技術，亞馬遜和谷歌都在用，亞馬遜會告訴你“買了A商品的顧客也同時購買了B商品”，Youtube上，一個視頻播放結束，馬上就會出現相關推薦視頻。同樣，優酷也就靠著這種基于Hadoop的“協同過濾推薦”的技術給用戶推薦他們喜歡看的視頻。

 

正所謂燕雀安知鴻鵠之志哉？當然，優酷土豆并不滿足于把數據的挖掘分析只用在簡單的推薦視頻上，優酷土豆希望能夠在行業內樹立一個標桿，作為它的拳頭性平臺化戰略產品“中國網絡視頻指數”更是成為了大數據時代的弄潮兒。

 

優酷土豆擁有海量的數據，僅運營數據，目前每天收集到的網站各類訪問日志總量已經達到TB級，經分析及壓縮處理后留存下來的歷史運營數據已達數百TB，很快將飆升到 PB級，5年后數據量將會突破幾十PB級。如何更好地處理和分析這些海量數據？如何在海量數據中掘金?這將成為優酷土豆值得花力氣研究的事情。

 

在本屆2013 Hadoop中國技術峰會中，來自優酷土豆的Hadoop技術專家將現場剖析Hadoop在廣告、網站、無線、搜索等方面的應用。在優酷土豆平臺上，每當用戶點擊播放視頻時，優酷土豆都會對頁面瀏覽、評論收藏、視頻播放以及播放時的各種操作進行了記錄。這些數據經處理后的分析結果會反饋給不同相關業務模塊用作參考，來自產品、內容運營、用戶的個性化推薦及廣告投放等業務部門都會受益匪淺。

 

內容方面，優酷土豆通過對用戶網絡情況進行數據統計：比如每次播放是否發生了緩沖，平均下載速度是多少等，憑借對這些數據進行實時的統計和計算，獲取每個地區每個運營商下用戶的加載表現，以此來決定CDN節點的分布和分配策略，為不同地區、不同運營商的用戶提供清晰流暢的視頻服務。

 

在推薦方面，優酷土豆通過對大量視頻播放行為的分析，歸納不同時長、不同類型、不同內容的視頻之間的相互關聯，挖掘不同人群用戶的同質化觀看習慣，對每次用戶的觀看進行有針對性的后續推薦，并借助后續數據的分析，迭代地改善現有服務，為用戶提供量身定制的推送服務。

 

 

VMWare 領跑虛擬化行業：Hadoop的大數據擴展技術更勝一籌

 

作為虛擬化技術的旗幟，VMware始終領跑虛擬化與云計算的發展。不過，VMWare的雄心遠不止如此。VMWare開始發力Hadoop虛擬化相關技術。近日，VMware宣布推出了VMware vSphere Big Data Extensions(大數據擴展)，這將允許該公司廣受歡迎的基礎設施管理軟件來控制企業客戶建立的Hadoop集群。這樣一來，成千上萬的VMware企業客戶將能夠使用他們已經熟悉的軟件來控制Hadoop部署。

 

為此，2013 Hadoop中國技術峰會組委會特意邀請了兩位VMWare重量級技術專家，為您庖丁解牛,講解VMware的大數據方案。 

 

創投資金給了誰？誰能獲得自己的一桶金？

 

2013上半年IDG、紅杉們的錢都給了誰？大數據成為了投資最熱關鍵詞，互聯網以信息為本，在大數據領域，做數據分析、挖掘等相關技術備受青睞。值得一提的是，2013 Hadoop中國技術峰會特別增設了一個大數據創業與投資的主題論壇，新浪微博基金、美國光速創業投資、IDG資本投資顧問(北京)有限公司、中通銀泰、星環信息(上海)有限公司、Xadoop、天云大數據、云創存儲等單位將共同分享大數據領域的創業和投資方面的故事，希望能同時幫助到創業者和投資者。現在團隊購票還有優惠，欲想了解詳細議程，請訪問www.chinahadoop.com /hadoop.it168.com。今年銷售一如既往的火爆，若不想等門票售罄，請及早預定。