AWS Glue在AWS中國(寧夏)區域正式上線
亞馬遜旗下公司Amazon Web Services, Inc. (AWS) 今天宣布,AWS Glue在由西云數據運營的AWS中國(寧夏)區域正式上線。AWS Glue是一種全托管的數據提取、轉換和加載 (ETL) 服務及元數據目錄。它讓客戶更容易準備數據,加載數據到數據庫、數據倉庫和數據湖,用于數據分析。使用AWS Glue,在幾分鐘之內便可以準備好數據用于分析。由于AWS Glue是無服務器服務,客戶在執行ETL任務時,只需要為他們所消耗的計算資源付費。
客戶在使用數據湖架構實現數據分析解決方案時,通常有75%的時間花在數據集成任務上,需要從各種數據源提取數據,對其進行規范化,并將其加載到數據存儲中。AWS Glue消除了ETL作業基礎設施方面的所有重復勞動,讓Amazon S3數據湖中的數據集可以被發現、可用于查詢和分析,極大地縮短分析項目中做ETL和數據編目階段的時間,讓ETL變得很容易。
AWS Glue在從客戶選擇的數據源把數據爬取出來之后,會自動識別數據格式和模式(schema),構建統一的數據目錄,并為客戶提供所選數據的中央視圖。這使得客戶很容易跨越各種數據存儲,檢索和管理所有數據,而不必手動搬運它們。當客戶從數據目錄中標識出數據源(例如一個數據庫表) 和數據目標 (例如一個數據倉庫) 時,AWS Glue將匹配相應的模式,生成可定制、可重用、可移植、可共享的數據轉換代碼。開發人員可以調度任意數量的ETL作業,AWS Glue則會管理其余的工作,根據客戶ETL工作負載自動啟用或關閉計算資源。通過簡化創建ETL作業的過程,AWS Glue讓客戶可以構建可伸縮、可靠的數據準備平臺。這些平臺可以跨越數千個ETL作業,具有內置的依賴性解析、調度、資源管理和監控功能。
“AWS可擴展、可靠的云存儲,加上我們廣泛的分析服務,使客戶比以往任何時候都更容易收集、存儲、分析和共享數據,”AWS全球副總裁及大中華區執行董事張文翊表示,“隨著AWS Glue在由西云數據運營的AWS中國(寧夏)區域正式上線,中國區域的客戶可以輕松地從任意多的數據源傳輸和處理數據,整合數據到數據湖,并且可以選用多種AWS分析服務,迅速開始分析所有數據。”
當前,包括德比軟件、嘉云數據、殼木軟件和趣加等在內的諸多中國客戶都在使用AWS Glue解決他們復雜的數據挑戰。
德比軟件為酒店和旅游行業提供在線銷售和產品分銷方面的技術和系統服務,并擁有全部產品和服務的自主知識產權。它擁有全球超過18萬家酒店的數據,每月處理超過800萬間夜的訂單。德比軟件大數據團隊技術經理戴岳表示:“AWS Glue使得ETL和異構數據源的處理變得更加容易,大大降低了開發和運營成本。它非常適合于開發和啟動敏捷數據項目。另外,AWS Glue的數據目錄功能讓我們可以輕松使用Amazon Elastic MapReduce (Amazon EMR) 來直接處理和查詢Amazon S3上的數據,提高了我們的開發效率。”
北京殼木軟件有限責任公司(Camel Games)是神州泰岳旗下的手機網游公司,2011 年獲得了Google Play 官方頒發的 Top Developer(頂尖開發者)稱號。Camel Games服務器主管張華表示:“AWS Glue幫助我們完成了復雜的ETL任務,可以從數百個Amazon Relational Database Service (Amazon RDS) 數據庫中定時提取所需要的數據,供數據分析部門進行迅速而直觀的全局統計,大大縮短了原本跨表查詢的時間”。