京東技術副總裁何剛:Hadoop商業項目將遍地開花
原創2013年11月22日,Hadoop中國技術峰會(China Hadoop Summit 2013)在北京福朋喜來登集團酒店隆重舉行。來自京東的技術副總裁、***科學家何剛先生給本次大會致辭。何剛認為,隨著網絡社交的成熟,移動互聯網的飛速發展,Hadoop技術將會不斷完善,Hadoop的商業項目會遍地開花,為中國大數據產業發展提供更多的推動力。
2010年以來,隨著網絡社交的成熟,移動互聯網的飛速發展,網絡購物的強勢增長,以及云計算、物聯網的廣泛應用,產生了更多更復雜的應用,也使更多的移動設備和智能終端接入到網絡,個人家庭和企業基本實現了24小時在線狀態,由此產生的數據及增長速度比歷史上時期都要快。信息量每年以59%的速度在增長,IDC的研究全球數據量大約每兩年翻一番,預計2020年世界上存儲總量達到35個GB。用戶的文檔、網絡內容、社交媒體等,數據種類的格式也日漸豐富,半結構化和非結構化的數據也是幾何級數的增長,數據的采集和處理也必須是實時迅速的,總之海量多樣和實時是大數據的顯著特征。
中國作為世界大國之一,作為全球為數不多的快速發展經濟體,國內網民規模、移動用戶規模、智能終端用戶規模和增速在全世界都是***。企業和政府的信息化有巨大的挖掘的廣度和深度,意味著中國的數據市場是全球含金量***的大數據金礦。也許2012年大數據高富帥的時髦詞匯,2013年屌絲和土豪也可以跟你聊聊什么是大數據。2013年是全民大數據時代已經上升為國民戰略,奧巴馬將大數據戰略上升為國家意志,這是未來的“新石油”,將成為綜合國力的重要的組成部分。
未來對數據的占有和控制甚至將成為路權、海權、空權之外的另一種國家資產,隨著數據的爆炸,數據的采集、挖掘、分享等任務將是牽一發動全身的挑戰,人類可以發現新的知識和價值,帶來大科技、大知識、大發展。
今年大數據也走進了中國政府的視野,廣州和重慶發布了政府大數據計劃,十三屆三中全會都提及統計、稅收、房地產等關鍵領域的統一數據平臺,大數據是推動政府轉型的重要的禮器。大數據也將成為中國的國家戰略。
2006年Hadoop誕生,隨著越來越多的用戶的加入,不斷的使用貢獻和完善,形成了強大的生態企業,從09年開始隨著云計算和大數據飛速發展,Hadoop作為海量數據分析的***解決方案,開始受到IT廠商和互聯網企業的關注,出現了很多Hadoop的商業版和支持Hadoop的產品,例如雅虎使用四千個節點的機群運行,包括存儲日志和數據,Hadoop技術憑借可以關聯結構化和非結構化數據的能力,擴展的成本低廉,高可靠、高性能等優勢正在對全球大數據產業發揮著重要的技術工具作用。
國內基于Hadoop的應用也已經落地開花,尤其是互聯網領域,熟練掌握了并在廣告搜索等領域廣泛的Hadoop技術,京東商城Hadoop商城也是應用倉儲配送等數據,中國的高校和科研院所基于Hadoop包括系統優化和安全性上做了研究,多以開源的形式回饋給Hadoop社區。新的業務模式會不斷的涌現,Hadoop也在向電信、電子商務、生物制藥等領域拓展,相信中國這片大數據沃土讓,依靠所有同行的創造性工作,Hadoop技術將會不斷完善,Hadoop的商業項目會遍地開花,為中國大數據產業發展提供更多的推動力。
大數據浪潮已經不可逆轉,以Hadoop為代表的技術成為了推動歷史的車輪,讓我們共同來完成我們的歷史使命吧!