阿里云產品介紹——開放數據處理ODPS
Ø 開放數據處理服務(Open Data Processing Service,簡稱ODPS)。ODPS是構建在大規模分布式計算系統上的數據處理服務。ODPS以REST API的形式,支持用戶提交類SQL的查詢語言,對海量數據進行處理。與強調實時性的阿里云OTS 服務不同,ODPS重點面向數據量大(TB級別)且實時性要求不高的離線處理,適用于構建數據倉庫、海量數據統計、數據挖掘、數據商業智能等互聯網應用。
Ø ODPS的特點和優勢
•高計算性能:海量數據存儲與大規模離線數據分析服務基于MapReduce框架支持直接使用SQL語句對海量數據進行離線分析。通過數據分裂將海量數據散布在整個集群內部,這樣,用戶的數據容量的瓶頸問題得以解決。同時計算壓力也被平均分布在集群內部,也很好的解決了計算性能問題。
•系統穩定:系統提供錯誤監控機制,對于故障采取自動遷移,采用多份備份來確保數據的安全性,系統達到99.95%的可用性。
•高SQL語法兼容:提供完整的sql語法支持,支持用戶復雜的數據分析需求。提供web portal, Client工具與Rest開放接口來為用戶服務,用戶可以根據自己的需求選擇合適的方式來使用該服務。
•操作簡單,用戶界面友好:開放數據處理服務提供桌面式的用戶操作平臺,用戶可以通過桌面大圖標非常便捷地找到需要使用的功能模塊。同時開放數據處理服務也提供更改操作界面背景的功能。
•多用戶環境:以項目空間的方式為不同用戶提供數據和計算資源的隔離。用戶可以在自己的項目空間里自定義數據表,作業和工作流,還通過授權方便靈活地共享數據。
•高擴展性:基于飛天大規模分布式計算系統,可利用數千臺機器的計算資源同時運算,隨著計算資源的加入,計算效率線性擴展。
•編程模式:支持SQL和MapReduce兩種編程模式。非事務性的OLAP SQL模式滿足日常的數據倉庫分析需要,其實現基于飛天數據驅動的多級流水線并行計算框架,性能優于基于MapReduce的迭代運算實現(例如Hive)。MapReduce編程框架靈活易用,比SQL表述性更強。
•多語言支持:支持主流編程語言,例如Java和Python,其中Java API與Hadoop保持兼容。