微軟發布Azure數據倉庫,對抗AWS Redshift
很多在微軟數據庫和云生態系統里工作的數據專業人士一直都迫不及待地想知道,微軟什么時候會推出云數據倉庫服務與亞馬遜的Redshift競爭。在微軟Build大會的開幕演講中,執行副總裁Scott Guthrie宣布推出“Azure數據倉庫”( Azure Data Warehouse)——名字非常地恰到好處。
在發布Azure數據倉庫的同時,還傳出另外兩個服務的消息:Azure Data Lake和Azure SQL Database彈性數據庫。盡管這兩個服務看起來只是來湊湊熱鬧,但其實三個產品之間有著相輔相成的關系。
擴展易如反掌
首先要說明一下,Azure數據倉庫不僅僅是用來對付Redshift產品的,Azure數據倉庫也是對Redshift經濟模式的挑戰。在Redshift里,用戶擴展數據倉庫時,計算資源和存儲的增加是以固定的比例鎖在一起的。而在Asure數據倉庫(英文縮寫為ADW)里,計算資源和存儲是脫節的,用戶可以只縮放其中之一。
ADW的經濟模式可以為客戶省錢。這種模式可以在需要更多的存儲時消除多余的計算資源的配置(反之亦然),而且,在ADW模型里,沒用到的計算資源可以被暫停,需要時再恢復。如此,計算資源費用帳單可以自成一項,這與Redshift模式形成強烈對比,在Redshift模式里,用戶要為節點群集里的所有虛擬機買全天候的單。
ADW之所以能將存儲獨立出來是因為用了Azure Storage Blobs(Azure Storage Blob是Azure的云存儲服務,類似于亞馬遜S3),而不是用虛擬機上的本地驅動。這樣做可能導致性能上的差異,對Azure數據倉庫不利。但筆者本周初聽數據平臺集團副總裁T.K. Ranga Rengarajan和數據庫系統集團總經理Shawn Bice介紹有關服務時,他們一口保證ADW性能優良。我要靠那些喜歡折騰評估的朋友幫著做做這方面事。
那Hadoop呢?
ADW是千兆兆字節級別的服務——但談論數據量這碼事時,不是應該講到Hadoop嗎?別慌,會的。首先,ADW用的技術是微軟用在旗下分析平臺系統(Analytics Platform System,縮寫為APS——是以前的SQL Server并行數據倉庫)的技術,其中含一項名為PolyBase的技術,筆者以前寫過博文介紹過PolyBase。
APS和ADW通過PolyBase可以直接查詢在Hadoop集群上的數據,或是可以將工作負載委托給Hadoop。這樣一來,Hadoop的數據對于數據倉庫而言就看起來好像是本地數據一樣,而開發人員和數據庫管理人員可以使用現有的技能對其進行查詢。PolyBase通過這種方式可以和Hadoop整合在一起,而不用理會是微軟云中的HDInsight集群還是在Azure虛擬機上或本地運行的Hortonworks或Cloudera集群。
還有更厲害的——Azure Data Lake
微軟在宣布ADW的同時還推出了一款新的Azure存儲,名為Azure Data Lake。它可處理流數據(低延遲、高容量、更新頻繁一類的數據)、可進行地理分布處理、可利用數據的本地性,并可以在千兆兆字節的級別上對各個文件根據大小分組。
Azure Data Lake當然地可以通過Azure存儲API訪問,而且還與Hadoop分布式文件系統(HDFS)兼容。即是說,Hadoop集群可以使用Azure Data Lake,而Azure Data Lake也可以使用ADW/PolyBase。
回頭再看一下OLTP這一塊
數據倉庫和Hadoop集群牛得很,但我們也不要忘了,生產應用程序和數據庫生成交易數據,分析工具則需要以此作參考。在微軟云里,我們則需要用到Azure SQL數據庫(提一下,ADW的基礎用到Azure SQL數據庫12版的技術)。
SQL數據庫領域有什么新東西?容量安排上有了新的選擇,就是這東西。存儲和計算資源扣在一起會在數據倉庫領域導致效率低,同樣,將規模和數據庫或數據庫分區扣在一起也會導致OLTP(聯機事務處理)的效率變低。其原因是:數據庫容量單位的生長或收縮彼此之間相對靈活,所以,在總體上進行容量配置就具有更大的吸引力。
Azure SQL DB彈性數據庫(Azure SQL DB Elastic Databases)能夠利用這種以總體為導向的容量配置,對亞馬遜的關系數據庫服務(RDS)是另一個經濟模式上的挑戰,據我所知,RDS尚無一個可比選項。
客戶是贏家
競爭是好事。可以這樣說,假若不是亞馬遜先用Redshift攪了微軟的局,微軟肯定不會推出ADW的。新的計費法可能是被AWS產品里的點實例模式催化出來的——至少部分受到點實例模式的影響。微軟現在做出響應,不僅僅是做到AWS的同等水平而已,而是多走了重要的幾步。
亞馬遜將如何應對?亞馬遜已經拿出一個機器學習產品對抗Azure。我猜測亞馬遜會在數據倉庫、存儲和OLTP方面有所動作。而且我們不要忘了,谷歌攜Hadoop、BigQuery和旗下的云存儲也是玩家之一。
創新成果令客戶受益,客戶只需對市場上的產品心中有數就能獲益。云供應商可以對其助一臂之力,需要做的是細心清楚地解釋自己的新產品。
原文鏈接:http://www.zdnet.com.cn/files/mobile/article.php?id=3051745