微軟數據庫一體機升級 新技術架構滿足大數據挑戰
原創作者:馬沛
在技術門檻較高的大數據領域,有著傳統優勢的廠商是否能夠依然占據主流,加速推動資源的整合、優化,提出端到端的一體化解決方案正變的尤為重要。
【51CTO專訪報道】企業客戶正在越來越看中供應商的整體解決方案交付能力,大數據也不例外。企業需要的是涉及數據的獲取、存儲、分析等眾多技術與應用的集合。只能提供某一單一技術方案的IT公司,會在大數據需求不斷爆發的過程中,接受挑戰。在技術門檻較高的大數據領域,有著傳統優勢的廠商是否能夠依然占據主流,加速推動資源的整合、優化,提出端到端的一體化解決方案正變的尤為重要。
微軟全球卓越中心PDW組總監Russ Cavan近日接受51CTO記者專訪時特別提到,微軟也在接受大數據所帶來的挑戰,不過微軟有備而來。2010年微軟***推出了基于SQL Server 2008 R2的數據庫一體機,目前已經發布了四個更新版本,并且微軟即將在2013年初正式推出基于SQL Server 2012的并行數據倉庫一體機PDW。
微軟全球卓越中心PDW組總監Russ Cavan
PDW是針對企業數據倉庫、高度可擴展而設計的軟硬一體機設備,采用“大規模并行處理”(MPP)體系結構。在數據處理方面基于SQL Server 2012的并行數據倉庫提供了全新的PolyBase數據處理技術,實現了用SQL語句對傳統關系型數據庫表與非關系型Hadoop數據表的統一查詢,并能夠在前端使用常用的Office工具比如Excel進行BI分析的操作和展示。
PDW采用了 xVelocity 列存儲技術,查詢速度提升近10~50倍、滿足實時數據倉庫的需求,高密度 Direct Attached Storage,存儲容量提升7倍,橫向擴展可以實現從幾個TB到6PB的線性擴展。“由于是軟硬件一體機,內部經過了深度的優化整合,提升性能的同時,架構設計使得總體成本降低,PDW能夠實現業界每TB更低的成本。”微軟中國高級產品市場經理郝雪瑩談到:“我們用1PB的數據倉庫測試,SQL語句只需要1.5秒就完成了查詢。”
目前PDW的硬件合作伙伴為惠普和戴爾,由于軟硬件一體,并行數據倉庫一體機只需要很少的調整和優化,實現了開箱即用,安裝速度和加載數據的速度較快,在服務器調整和優化上也僅需很少時間,縮短部署時間、減少工作量和降低成本。此外,還能夠運行大規模查詢,企業可以運行更多報表、完成更復雜的分析、處理更大的數據集以及分析更詳細的數據。國家審計總署已經選擇成為PDW在國內的***家部署用戶
微軟高級數據倉庫架構師喬怡與51CTO記者交流中介紹:“現在的審計業務,面臨的數據總量已經上升為TB級、甚至PB級,并且數據查詢分析的復雜性也在不斷提高。同時,審計需求本身為具有隨機性和突發性,審計人員需要根據判斷進行海量數據的查詢、匯總和關聯分析,這就需要針對大數據的統一高度和并行訪問,并需要多種計算模式和分析方法,同時滿足宏觀或特定審計目標。與此同時,更加無法忽視“時效性”的要求,審計署的處理效率受到更為嚴苛的挑戰。”
微軟高級數據倉庫架構師喬怡
來自微軟全球卓越中心PDW組的架構師Brian Walker分享說,他曾負責給大型美國連鎖超市HyVee實施過PDW項目,僅用了1天時間就完成了設備的部署和數據導入,并且與原有的數據庫平臺保持兼容,進入生產使用。PDW并行數據倉庫一體機以更為容易部署的方式搭建分布式存儲和計算集群,在統一的架構下實現對各種類型和各種規模數據的管理和并行處理,根據需求實現靈活擴展,支持TB/PB級數據的高效加載,滿足多源異構數據的即席查詢、聯合查詢和復雜關系處理,對大規模審計數據進行快速、深入的分析和挖掘,將成為微軟在大數據戰略上重要的戰略布局。
責任編輯:馬沛
來源:
51CTO.com