淺談傳統企業的大數據平臺如何上云
1. 趨勢介紹與闡述:大數據和云計算進一步深度融合, 擁抱云計算走向云原生化
首先我們來解讀下“大數據和云計算進一步深度融合, 擁抱云計算走向云原生化”:
- 云原生(Cloud Native)理念,本質上是一套“利用云計算技術為用戶降本增效”的最佳實踐與方法論;
- 大數據擁抱云計算走向云原生化,其驅動力來自于以下四個方面:
- 一是各個具體的大數據組件都在主動改變自身架構,積極“云化”以適應云部署環境(在底層技術架構上,為適應云部署環境,大數據更加青睞存儲計算分離的架構,在存儲層也融合了文件系統和對象存儲且更加青睞云友好的對象存儲);
- 二是各個傳統大數據供應商已經轉向依托云來提供自己的產品和服務;
- 三是各個云計算廠商在不斷推出各種云上托管的基于大數據的服務,以加強自己的市場競爭力;
- 四是應用方的大數據平臺很多也有主動上云的需求;
- 各個行業和各家公司的發展階段不同,融合本地數據中心和云環境的進度也不同,但在部署架構上,基于混合云和多云模式,融合公有云私有云與非云模式,來構建企業整體的IT基礎設施,必將是大勢所趨。
2 大數據跟云計算的融合現狀和趨勢
大數據跟云計算的融合現狀和趨勢如下:
- 很多云計算頭部廠商,比如AWS、阿里和華為等,都提供了云上托管的Hadoop和NoSQL數據庫等大數據解決方案; 很多傳統的大數據供應商,如 elastic, cloudera, databricks,confluent等,也在公有云上推出了自己的大數據解決方案;
- 很多初創企業和中小企業選擇了公有云上托管的大數據解決方案,來搭建和部署自己的應用系統,以快速面向市場推出產品提供服務;
- 也有很多規模較大的公司,出于云端的數據安全和隱私保護,出于大規模租用公有云的成本考量,出于多個業務系統之間數據跨區域移動的成本等考量,沒有使用公有云,而是自行搭建私有云;
- 從長遠整體上看,大數據云計算是越來越深度融合的,大數據朝著深度挖掘用戶價值、注重數據時效性、強調邊緣計算、非結構化協同處理等方向發展,對云計算底座的要求也越來越高。
3 機構大數據平臺建設建議
企業需要意識到,業務系統的上云不是一蹴而就的,也不是單向的一帆風順的:
- 這里涉及到新開發的業務系統的主動上云(由于是采用云原生技術棧新開發的業務系統,其上云相對順暢些);
- 也包括歷史遺留系統的遷移上云(單個遺留系統的改造遷移和上云,視乎復雜程度,往往需要一年多甚至更長的時間周期);
- 有時也會有從云端部署回退到私有云或數據中心的情形(上云后系統不順暢,IT人員不適應等,也有會退的場景)。
企業業務系統上云的最終目標,出于各種考量(有業務系統高可用的考量,也有不被云廠商綁定即 vendor-lockin的考量,也有生態系統合作伙伴即經濟因素等多種考量),部署架構不會是單一的某個公有云,而是多個公有云和私有云的混合部署形態;
所以企業需要制定從上到下的整體的云化整合方案,梳理所有的業務系統,根據其業務關鍵性的不同,數據時效要求的不同,以及安全與隱私考量的不同等多種因素,分階段有步驟地,遷移部分業務系統到公有云或私有云上,基于混合云和多云模式,融合公有云私有云與非云模式,來構建企業整體的IT基礎設施。