Cloudera:定位混合數據公司,滿足現代數據架構需求
原創大數據時代已來,人們對大數據對經濟社會起到的推動作用已經有了清晰的認知,數據的獲取、分析、分享、技術人員等要素決定著大數據的應用是否順暢,這些要素也組成了大數據生態系統。
當今,業界如何看待未來的數據生態系統架構呢?三種技術框架和方法論成為了大數據領域熱度最高的詞匯:Data Mesh、Data Fabric、Data Lakehouse。
未來數據生態系統的構想
“數據網格”Data Mesh的想法是數據與產品思維的融合,其中的產品是指企業內部數據對外提供服務的方式。數據網格是一種范式轉變,其中數據由業務中的不同域擁有和管理,數據由最了解數據的域擁有,隨時可供企業內的任何其他域使用。數據網格范式基于四項原則:域主權,即去中心化;數據為產品;自助式數據平臺;聯合計算治理。
Gartner認為數據編織(Data Fabric)是一種跨平臺的數據整合方式,它不僅可以集合所有業務用戶的信息,還具有靈活且彈性的特點,使得人們可以隨時隨地使用任何數據。作為一種新興的數據管理和處理方法,數據編織改進了數據倉庫和數據湖的概念,引入了一個新的架構(網絡狀),使整個企業能夠統一利用數據。數據編織使用基于網絡的架構而不是點對點的連接來處理數據,實現了從數據源層面到分析、洞察力生成、協調和應用的一體化數據結構。
Gartner提出,隨著數據變的越來越復雜,數據業務的加速發展,Data Fabric的終極目標是為了數據的集成和訪問提供一種更靈活的,無縫的自動化方式。Data Fabric能夠連接服務,讓數據有靈活的集成方式,與其他系統進行構建。
Data Fabric提供自助服務,允許業務用戶輕松發現數據資產,訪問數據,實現主動人工智能,自下而上推廣人工智能的方式,通過主動的原數據構建,讓生命周期的每一個環節實現智能的數據治理。
湖倉一體(Data Lakehouse)是一種新型的開放式架構,打通了數據倉庫和數據湖,將數據倉庫的高性能及管理能力與數據湖的靈活性融合了起來,底層支持多種數據類型并存,能實現數據間的相互共享,上層可以通過統一封裝的接口進行訪問,可同時支持實時查詢和分析,為企業進行數據治理帶來了更多的便利性。湖倉一體,又稱為數據湖倉,解決了數據倉庫缺乏數據靈活性、實施和維護成本高的問題,又解決了數據湖商業智能和數據分析用例性能不佳和缺乏數據可靠性、安全性的痛點。
在企業內部,不同的角色會關注不同的方法論。CEO/CIO/CDO會關注如何在管理成本和維護人員規模的同時進行擴展,因此更關心數據網格的方法論。CTO/CSO的焦點則是如何做,用什么樣的技術方案來保持一致性并構建標準模式,因而更加關注數據編織。對于領域從業者,則更為關注可以視為方法論的湖倉一體,他們將此看做工具,尋求在具體項目上的優化。
Gartner 提出,“未來的數據生態系統應該利用分布式數據管理組件 - 可以在多個云和/或本地運行 - 但應被視為具有高度自動化的緊密的整體。集成、元數據和治理功能將各個組件粘合在一起。“
Cloudera的混合數據定位
Cloudera定位于混合數據公司。提供適用于數據編織、數據湖庫、數據網格和未來數據生態系統架構要求的混合數據平臺,允許客戶在多個公共和私有云以及本地訪問和分析數據,使企業能夠做出由數據驅動的明智決策,幫助企業建立由數據驅動的未來。
在平臺能力方面,Cloudera的產品技術適應Data Lakehouse、Data Fabric、Data Mesh。在多云和本地部署上,都可以做到管理和分析。Cloudera的分析代碼在一次編寫之后,可以跨平臺,在不同云、本地和私有云平臺上運行,對于業務人員來說,可以在復雜環境中讓代碼方便的移植。
Cloudera通過SDX (共享數據體驗)來提供集中的數據管控和處理。SDX能夠真正幫助客戶在新的形勢下跨云,包括云原生、不同的存儲中,做到數據統一的安全管控和治理。
Cloudera數據平臺 - 支持現代數據架構
說到Cloudera的優勢,Cloudera大中華區技術總監劉隸放指出, Cloudera會幫助客戶建立數據驅動的文化,如果客戶有Data Mesh跨域管理需求,Cloudera能從產品平臺上能支持企業做數據驅動的轉型。在此基礎上,Cloudera可以從降本增效方面,幫助客戶在最佳的形態下執行自己的數據分析需求,支持跨云和多云,包括本地私有云的部署。Cloudera也與大量合作伙伴做了開放性認證,可以支持開放的標準和互操作性,以最快的速度拉動企業的增長。
Cloudera大中華區技術總監劉隸放
劉隸放表示,從Cloudera的角度來看,未來數據平臺會把邊緣計算作為一個重要的方面。從算力的角度來說,沒有必要把在邊緣就可以處理的問題拿到本地,有些機器學習的處理模型在邊緣就會處理掉。當然,對客戶端等數據要進行脫敏和過濾等預處理和預判斷,保障數據的安全性。未來的數據平臺是云化和跨云的,無論客戶選擇何種部署,Cloudera都會尊重客戶的選擇。