阿里云助力互聯網企業掘金大數據
原創如果說阿里巴巴是國內最有價值的商業數據公司,你同意嗎?我們都知道阿里巴巴旗下有7大業務,其中像淘寶和天貓每天都會產生大量的交易數據,據統計,在剛剛結束的“雙11”這一天的交易額達到191億元,天貓132億、淘寶59億,支付寶處理交易筆數1.058億筆,峰值時期處理交易筆數9萬筆/分鐘,核心數據庫集群處理了41億個事務,支付寶核心數據庫集群執行了285億次的查詢。在訪問量方面,當天有2.13億獨立用戶訪問天貓,占到互聯網用戶的四成。雖然,現在淘寶還沒有對外公布本次單日產生的數據量,但單從上面的數字信息來看,這個數據量一定是很驚人的。所以,如果說阿里巴巴坐在金山上,也許一點都不為過。
其實不只是淘寶,隨著互聯網技術及行業的不斷發展,越來越多復雜的互聯網平臺或應用架構產生,大規模數據的處理需求日益明顯,而如何有效挖掘這些大數據也正在成為大家關注的焦點。在這種形式下,云計算應運而生。云計算滿足了企業對海量數據的低成本、高效處理,實現了不同類型數據的大量存儲與海量計算。如何在“大數據”技術上用云計算構建下一代數據倉庫、如何有效分析挖掘數據已經成為熱門話題。
阿里云被稱作是中國的亞馬遜,他是以數據為中心的云計算服務公司,目標是打造互聯網數據分享第一平臺。本文將向您介紹,阿里云計算如何實現對海量數據的處理與計算、如何最大化的提高計算效率?如何有效挖掘大數據的價值?
張東暉,阿里巴巴集團數據平臺總監,他在第二屆云計算架構師峰會上提到,讓數據變成真正的價值,并帶來收益,光有數據是不夠的,還需要三大利器:第一,要有好的商業模型,如阿里金融;第二,強大的數據團隊,像現在流行的數據科學家;第三,淘金工具,比如阿里云的開放數據處理服務(ODPS)。
阿里巴巴集團數據平臺總監張東暉
ODPS(Open Data Processing Service) 是基于阿里云計算平臺構建的數據存儲與分析的平臺。ODPS提供大規模數據存儲與數據分析,用戶可以使用ODPS平臺上提供的數據模型工具與服務,同時也支持用戶自己發布數據分析工具。適用于金融、零售、制造業和電商企業的BI團隊進行海量數據分析和挖掘。ODPS目前暫時只提供大規模數據存儲與離線數據分析服務。
ODPS的三大技術特點:
1. 安全性:當提到多租戶、多使用概念時,用戶立刻會想到安全問題,如果數據平臺不能分享,解決安全問題會相對簡單,但將數據分享,并可跨越邊界被訪問時,就對安全提出了很大的挑戰。ODPS在這方面采用的是授權方式,對訪問數據庫的用戶嚴格授權,任何人的程序都無法看到或破壞里面的數據。另外,ODPS為了實現多租戶的獨立,做了三層的安全認證體系,以保證用戶對于安全的需要。
2. 編程模型:對于一個框架來講,應該支持可以擴展多種編程模型。ODPS支持多種編程模型,因為離線都是處理流程,一個處理流程可以用不同的編程模型編寫。
3. 存儲模型:數據量越大,對于存儲的要求就越高,存儲的難度也會加大。ODPS在存儲的時候是將物理存儲和數據存儲分開,這樣可以有效解決數據的兼容性問題。從存儲模型層面減少IO,數據采用統一的展現形式——表。對小文件提供OTS存儲,另外,將元數據保存在OTS中,對高并發和規模擴展提供了很好的方式。除此之外,在存儲模型上,還有帶壓縮的列存儲,可以有效減少IO,提高效率。
ODPS 有效的滿足了用戶對于數據的存儲和離線處理的需求。如何更進一步的讓這些數據產生價值呢?
#p# 上海天津信息技術公司梁嵩認為,數據挖據是未來企業經營的核心,也是制高點,是統計學和數據庫技術和人工技術的綜合。大量的數據增長需要集中處理,同時,還要面對數據爆炸似增長帶來的挑戰,這就需要很大的計算能力。
對于互聯網用戶來說,搜索和精準推薦是兩個實用的功能,可以幫助每個互聯網的用戶快速找到所需的工具。對于站長來說,這兩個功能的實現隨著數據信息量不斷積累,實現內容的關聯性也越難。無論是從站長的角度還是用戶的角度來說,對于搜索和推薦都有著強烈的需求。
阿里云高級專家韓定一說:“用戶對由業務帶來的對搜索和精準營銷的需求,要實現還要面對三大技術難點。第一是時效性和大規模,第二是精準與覆蓋,第三是客戶定制的能力,包括不同數據結構的定制,包括不同界面的定制。”同時,他表示大數據時代的個性化服務,營銷方式越精準,用戶的成本越低,網站的收益越高。阿里云通過云推薦、廣告管家和開放云搜索來支持網站做精準的個性化服務。
阿里云高級專家韓定一
據了解,阿里云在大規模處理方面能支持百億級別的訪問,能處理十億級別的網頁。除了廣告管家之外,阿里云推薦、開放云搜索都是實時的處理數據,保證了實效性。據統計,使用了阿里云推薦的用戶,平均有5%到10%的流量提升。
老話說的好,你不理財,財不理你!這對于大數據同理,數據如果只放在那里,它就只是一堆無用的信息,不會給你帶來任何價值。但隨著電子商務、移動互聯網的發展,企業需要重新審視數據,如何從數據挖掘出新的商業價值。未來,數據將是一個企業成長的血液,而我們必須讓它融進企業的業務里。而阿里云正是為用戶提供了這樣一個“掘金”的工具。