傅杰:集團化企業開放數據平臺的構建之路
2013年4月26日-27日,由51CTO傳媒集團旗下WOT(World Of Tech)品牌主辦的2013大數據全球技術峰會在北京富力萬麗酒店召開。本次峰會將圍繞大數據基礎架構與上層應用的生態系統,解決大規模數據引發的問題,探索大數據基礎的解決方案,激發數據挖掘帶來的競爭力,讓數據發出聲音。51CTO作為本次峰會的主辦方,將全程視頻、圖文直播報道這場數據的盛宴,更多內容請點擊專題:2013大數據全球技術峰會。
在27日下午的互聯網與大數據專場中,優酷土豆數據平臺架構師傅杰發表了主題為“集團化企業開放數據平臺構建之路”的演講。演講中,傅杰解析了開放數據平臺構建的方法,并介紹了優酷土豆集團的開放數據平臺。
優酷土豆數據平臺架構師傅杰
他談到,企業集團化帶來了物理孤島和邏輯孤島,物理孤島帶來重復造輪和資源浪費,邏輯孤島帶來數據關聯問題和數據標準問題。優酷土豆解決物理孤島是從集中存儲、統一采集和開放計算的方式。他指出,要把Hadoop平臺開放出去,但要解決身份問題、數據權限問題、災備和安全問題,要保證Hadoop安全開放,要集成Kerheros,解決用戶身份認證問題;自定義用戶組;監控報表;開放注冊用戶。
在建設過程中,也遇到了許多問題,例如,System out、機房遷移(jaas bug)、公平調度器故障、JobTracker堆棧滿等。
在解決邏輯孤島方面,是從數據易用,封裝數據服務,打造數據產品三方面入手,形成開放的數據平臺。
之后,傅杰介紹了優酷土豆集團的開放數據平臺的具體情況,優酷土豆的數據平臺輻射范圍包含推薦、搜庫、廣告、分層、運營、拍客、指數,數據平臺的架構、平臺的服務等。
以上是51CTO.com記者從一線為您帶來的精彩報道。后續我們還有更加精彩的獨家報道,敬請關注。