揭秘支付寶大數據應用 探知數據價值
作為前阿里巴巴***DBA,精通Oracle數據庫,在OS、主機、存儲領域有豐富經驗,對軟硬件的系統整合有豐富經驗。帶領數據庫團隊期間培養了一批知名數據庫專家,現負責支付寶數據平臺,專注于分布式存儲和并行計算,構建基于hadoop上hive、hbase的系統。本次大會上,馮春培先生分享了支付寶的大數據應用實踐。
▲前阿里巴巴***DBA馮春培
科技時代數據已成資產 關鍵在于運營
科技時代的企業,尤其是IT企業,說起來對于公司資產的定義往往要比傳統企業要大的多,因為當今企業中對除了那些有型的和可以用價值衡量的資產外,還有一些是切實存在但很難直觀評估價值的數據,但正是這樣的矛盾才讓當今企業更加關注數據資產的價值。馮春培先生的介紹中我們可以充分體會到一個IT企業對于數據是有著多么厚重的需求和管理目標。
▲數據平臺愿景
而管理起這些數據,也正是希望通過這個管理的過程,挖掘數據更加更大的價值。馮春培先生認為通過數據化的運營,能夠為企業帶巨大的變化,首先是管理和運營模式的升級,數據化運營,重點在運營而非數據,數據是固定的,透過數據看到價值是運營的過程。其次,運營數據的過程能夠帶來更多的提升:
• 商業模式的升級
• 數據開始成為核心價值
• 重點是數據
云時代數據價值體現——BI解決方案
似乎在今天不提云就不科技,但事實上,因為云的深入應用能夠滿足更高的可用性和更好的用戶體驗要求,隨之而來的數據的增長也和云本身體量一體“爆發”。支付寶的數據現狀分析足以說明這樣的現實,按照目前的增長情況,2012年的數據增長預計將會遠超過去。而時間馬上就要到預測點了,是不是這樣我們可以在不久的將來驗證這個數據的預測。
在云時代的今天,數據的價值如何充分體現,可以說支付寶在對數據的挖掘上也頗為有意思。從下圖上我們可以看到,根據數據維度不同、數據目標不同建立起不同的解決方案,并為相應的解決方案。
看上去似乎滿足了方方面的需求但是,馮春培先生也在演講中表示自己在面臨數據時候的壓力與挑戰:
• 成千上萬JOB
• PB級數據
• SLA
• 前臺的分與后臺的合
• Big data 與 適時計算(T+1 à100ms)
隨著業務的開展,更多的問題也在挑戰數據管理的工作本身:
• 使用數據的人越來越多
• 數據需求的復雜性增加
• 對數據價值的判斷和取舍