毛波:淘寶數據分析挖掘實踐及變革
原創2013年4月26日-27日,由51CTO傳媒集團旗下WOT(World Of Tech)品牌主辦的2013大數據全球技術峰會在北京富力萬麗酒店召開。本次峰會將圍繞大數據基礎架構與上層應用的生態系統,解決大規模數據引發的問題,探索大數據基礎的解決方案,激發數據挖掘帶來的競爭力,讓數據發出聲音。51CTO作為本次峰會的主辦方,將全程視頻、圖文直播報道這場數據的盛宴,更多內容請點擊專題:2013大數據全球技術峰會。
淘寶高級技術專家毛波為參會者分享了主題為數據分析挖掘實踐及變革的演講。淘寶自07年以來,在數據分析挖掘方面投入了相當大的力量,并且取得了相當大的成果。在數據應用的格局中,分別開發了對外和對內的數據服務,實現了數據像水電煤氣一樣,哪里需要就可以接入。
淘寶在08、09年啟動了去IOE的工程,替換掉IBM、Oracle、EMC的服務器集群解決方案。之后越做越大,在11年開始探索做公有云,到現在開始探索金融服務和精準營銷等新領域。
數據系統變遷需要考慮性能、擴展性、運維三個方面,技術方案必須圍繞數據量、資源和業務需求來打造。
淘寶現在的數據應用格局如下:
對外數據產品,如淘寶指數、量子恒道等。分別對賣家、分析師、買方提供數據分析服務。
數據嵌入產品中。如搜索、廣告、推薦等。數據就像水電煤氣,哪個地方需要就可以接入。
內部數據服務。如淘數據門戶、多維數據自助查詢平臺。日活躍用戶超過1000,會直接訪問Hadoop集群。
數據工具。如天網調度、元數據管理、數據地圖等。
新的探索。如金融服務、全網精準營銷、無線與PC數據打通等。這些服務都需要數據分析的幫助,因此數據部門直接參與。
***,毛講師還分享了他對于現在大數據的一些觀點。
- 數據處理是手段,數據應用是根本。
- 云系統的運維能力是核心競爭力。
- 整合關聯讓數據價值指數級增長。
- 數據可視化很重要。
- 想大做小,迭代優化。
- 關于隱私。隱私和服務需要權衡,控制使用比控制收集更有效,數據使用不針對具體個體。
以上是51CTO.com記者從一線為您帶來的精彩報道。后續我們還有更加精彩的獨家報道,敬請關注。