達夢DMETL與其它主流ETL對比 整體性能優勢明顯
達夢數據交換平臺(DM Extract、Transform、Loading,縮寫DMETL)是國內知名數據庫廠商達夢數據庫有限公司在上十年數據處理經驗的基礎上,研制開發的具有自主版權的、商品化的數據交換與處理平臺。DMETL創新地將傳統的ETL工具與分布式消息平臺相結合,實現了對數據抽取、傳輸、整合、以及裝載的一站式支持,是構建數據中心、數據倉庫、數據交換和數據同步等數據集成類應用的理想平臺,同時也可以作為數據加工處理工具由業務人員直接使用。
經過與市場上其他主流ETL工具測試對比之后發現,DMETL從功能性能上已經完全能夠滿足用戶需求,并且在易用性方便更具有獨特的優勢。
1.測試對象
1) SSIS:SQL Server Integration Services。微軟的數據集成工具
2) KETTLE:主流開源ETL工具
3) POERCENTER:業界領先的ETL工具,已被oracle公司收購
4) DMETL:達夢數據交換平臺
2.測試環境
1) ETL工具主要運行環境
IP:223.254.112.1
CPU Intel 雙核 E2160 主頻1.8G
內存 2G
操作系統 MS server2003
2) 數據源服務器A主要環境
IP:223.254.102.21
CPU Intel雙核 E5300 主頻2.6G
內存 2G
操作系統 MS XP
數據庫:SQLSERVER,ORACLE
3) 數據目的服務器B主要環境
223.254.110.136
CPU Intel雙核 E5400 主頻2.7G
內存 4G
操作系統 MS server2003
數據庫:SQLSERVER,ORACLE
3.功能對比
(注:√—支持 ×—不支持)
4.性能對比
四種ETL工具在10W條和1000W條不同數據量下進行性能測試。
數據容量(10W記錄)=945*100000/(1024*1024)=90.1M
數據容量(1000W記錄)=945*10000000/(1024*1024)=9012.2M
1) DMETL性能測試記錄
2) SSIS 性能測試記錄
3) KETTLE性能測試記錄
4) INFORMATIC POERCENTER性能測試記錄
5) 性能測試數據匯總
(單位:條/秒)
5.結論
性能上INFORMATIC POWERCENTER總體性能***;DMETL性能比較穩健,優于KETTLE和微軟的SSIS。
功能上DMETL和INFORMATIC POWERCENTER兩者最為豐富,KETTLE次之,SSIS較弱。
易用性方面DMETL是***的,SSIS次之,KETTLE和INFORMATIC POWERCENTER使用最為復雜。