挑戰傳統集中式云計算架構,分布式云的核心要義是什么?
隨著5G和物聯網的廣泛落地,傳統集中式的云計算架構受到了越來越多的挑戰,我們的算力模型和存儲模型也潛移默化的產生了一些變化。
一、分布式云與近數據計算
所謂分布式云是相對于傳統集中式云而言的,隨著算力需求的分散,云資源的布局也相應發生了變化,從物理集中的云架構向分層分域的分布式云架構轉型。具體來說,云平臺會根據需求的變化進行算力分成和下沉,原來集中式云數據中心會演進成”中心算力層+云管理和調度中心“為核心的核心層、以地域和行政架構為牽引的區域算力中心以及面向現場和生產一線需求的邊緣計算層等分層分域的新型分布式架構。
分布式云實現算力重分布的目的,歸根結底還是為了適配新的業務模式,是算力需求從集中走向分散的根本性需求。當然,分布式云也不是一味的做拆分和分散化,實現了邏輯統一物理分散,實現四個方面的融合:
1. 資源融合
計算和存儲資源在管理上是融合,通過中心云管實現統一視圖的管理和互操作,通過服務目錄的整合,實現資源服務的交付;
2. 網絡融合
在過去的云架構設計中,云內網和云間網在管理和控制上是割裂的。從集中式云的云內網到分布式云的云間網,云內網和云間網的融合,勢必成為趨勢了。過去很長一段時間網絡一直是云的瓶頸,站在分布式云的角度來說,網絡依然是瓶頸,云內網、云間網和云接入網的融合很快就會進入視野;
3. 應用融合
在現階段云被詬病最多的還是云與業務那種若即若離的關系。分布式云之所以推動算力重分布,就是為了讓算力更靠近應用。在邊緣側實現應用的時效性處理部分,在核心側實現應有的集中管理和過程處理,這兩部分一定會融合到一起,實現高效的協同;
4. 數據融合
在分布式云的框架下,邊緣側不再像過去一樣只是負責數據的采集和傳輸,數據在邊緣側被第一時間處理,從數據的采集、數據的粗加工到數據的告警以及一些數據的執行,匯總數據和初步分析的數據被傳輸到核心側,這樣的好處是大大節省了帶寬,同時也極大地提高了邊緣側數據響應和時效性。
邊緣側和核心側,在資源、網絡、應用和數據四個層面實現了融合,分布式云才是一個有機整體,分布式云的核心要義不在于分布式而是在于融合。
說完了分布式云,近數據計算就很容易理解了,跟分布式云的初衷是基本一致的,都是為了讓資源更好的為業務服務,都是為了讓算力離應用和數據更近。根據上面的分析,可以得出一個結論,大數據的趨勢正在導致計算范式的變化,尤其是將計算轉移到數據的概念,我們稱之為近數據處理(Near Data Processing)。NDP是指將計算遷移到離數據更近的地方,減少數據的移動。數據的遷移往往在整個計算過程中占據極大的能耗開銷。邊緣存儲與存算一體化緊密結合,依靠設備或介質的計算能力,直接在存儲控制器內部執行計算,在邊緣設備上可極大減少存儲器內部的數據遷移開銷,在網絡傳輸過程中也能極大減少帶寬開銷,這將極大減輕云端的計算壓力。
二、邊緣存儲
邊緣存儲也是分布式云架構中的一個重要環節,隨著算力下沉,原有的集中式的云存儲模式也會發生架構上的調整和變化,邊緣存儲成為重要的補充。邊緣存儲是邊緣計算的延伸概念,主要為邊緣計算提供實時可靠的數據存儲與訪問。邊緣存儲尚沒有明確的定義,但是相關的工程實踐已經展開了。
1. 邊緣存儲的基本特點
與云存儲不同,邊緣存儲將數據從遠距離的云服務器端遷移到離數據更近的邊緣存儲設備端,具有更低的網絡通信開銷、交互延遲和帶寬成本,能為邊緣計算提供實時可靠的數據存儲和訪問。邊緣存儲和邊緣數據中心在地理上是分布式的,與業務需求呈現一樣的分布趨勢。這種分布式結構使數據能夠及時地就近存儲,為邊緣計算關鍵任務的實時性數據存儲和訪問提供了保障。
2. 邊緣存儲的異構特性
邊緣存儲一般來說會呈現異構的特點,主要是水平和垂直兩個層面。在水平側,不同類型的邊緣端側設備一般會采用不同的存儲介質,Flash等非易失性介質和SAS、SATA硬盤相結合的方式,還體現在多種存儲系統的使用。
在垂直側,垂直多層次異構是指根據距離大型集中式云數據中心的遠近,邊緣存儲可分為3個層次:邊緣設備、邊緣云節點、分布式數據中心,不同層次對應不同的存儲系統。不同層次的存儲系統需要相互協作,通過多層次、多級別的數據緩存和預取策略優化邊緣數據的存儲和訪問。
3. 邊緣存儲的融合部署
邊緣存儲需要實現邊緣節點內部部署,為邊緣計算提供高速的本地數據資源訪問,滿足邊緣應用的實時性需求,在本地最大限度地控制訪問內部存儲設備,監測控制數據存儲的位置,實時調整數據的冗余策略,面向數據源對數據進行加密或其他預處理,增強數據安全性。邊緣存儲在形式上,也可以是中心化的架構,也可以是非中心化的架構。
中心化架構在具體部署角度來看,就是在分布式存儲在邊緣節點的場景化應用,只不過比通常場景更輕量化。還有一種去中心化的邊緣存儲,核心思想就是多個邊緣設備之間可以自組織地建立去中心化分布式存儲網絡。隨著邊緣設備數量激增,該架構具有很大的潛力。
4. 邊緣存儲與MEC
邊緣存儲作為一種存儲架構的演進模式,實際上是邊緣計算概念和模式的延伸,會依托算力重分布和邊緣應用以及MEC的發展而逐步落地,不會獨立存在,會依托于MEC的場景化應用,比如視頻監測、工業互聯網、無人機、車聯網、智慧醫療、智慧交通等等,場景會越來越豐富。
沒有什么是永恒不變的,還是那句話,概念不重要,重要的是持續演進的架構以及敏捷多變的業務需求。