云存儲架構框架設計如何實現以應用為基礎的服務模式?
引言
云原生的發展帶動了軟件定義,由此帶來的計算、網絡、存儲等架構均向軟件定義轉變,特別是金融行業的發展越來越依賴IT架構和業務系統支撐,在銀行業尋求系統變革的時代,存儲架構的變革如何適應以應用為基礎的服務模式,是目前絕大多數銀行在探討和嘗試的方向,傳統存儲和云存儲如何搭配使用,云存儲如何做到適應數據結構的要求,怎樣利用數據的多樣性等特點,設計出適用業務的存儲架構及存儲模式,軟件定義存儲如何做好穩定性的高要求,如何利用軟件定義提高投入產出比,下面我們來展開討論下“云存儲架構框架設計如何實現以應用為基礎的服務模式”。
1.銀行應用模式轉型
隨著互聯網的發展,帶動了金融行業的業務變革,銀行業從傳統的柜臺模式向遠程化、線上化轉變,網上銀行、手機銀行等互聯網應用相繼出現,越來越多的客戶選擇通過線上辦理業務,和傳統模式到銀行柜臺辦理業務相比,新應用極大的提高了業務辦理效率,致使客戶越來越青睞通過線上辦理銀行業務。
為滿足客戶對新應用、新業務的訴求,同時為了精準獲客,要求業務系統實現快速迭代開發、更新升級,及時響應業務需求,加速業務創新,各銀行均開始調整傳統IT系統,敦促業務著力以客戶為中心、數據為基礎,利用新技術對銀行客戶服務和業務流程進行數字化再造,提供全渠道、無縫式、個性化的產品和服務,全面實現業務處理的數據化、自動化、智能化。
銀行數據化改變了原來金融數據的“狹窄”數據體系,提高數據獲取能力,獲取以客戶為中心的完整數據,包括客戶行為和金融業務數據,實現大數據分析與管理,體系化、標準化的數據結構為銀行IT追求的下一階段目標,承載數據的存儲架構也變得尤為重要,各家銀行均在極力尋找新的存儲框架,實現滿足以應用為基礎的服務模式,提供更具個性化、精準化、智能化的服務模式,實現與客戶交互、產品、服務的感知性和便捷性,降低銀行經營成本。
2.應用轉型對數據結構的要求
從業務的環境變化角度而言,新業務主要是互聯網交易,對數據結構而言,要求滿足單數據結構復雜,數據庫實例明顯變大,傳統數據結構和數據庫很難滿足新業務對數據結構的要求,導致新業務場景下,銀行科技部門更傾向于將傳統數據分散化、靈活化,開始對傳統數據庫進行分庫分表的研究,甚至對存儲系統也開始進行云化、服務化的研究。
所以從技術架構上來看,基于云化、服務化的分布式存儲與兩地三中心的容災能力也是銀行的研究重點。為滿足對應用的訴求,新的數據結構必須具備支持如下技術能力:
1.支持微服務分布式應用架構:核心系統需要能夠敏捷快速地支撐產品創新,支撐場景化和平臺化的金融業務,而C端客戶,互聯網客戶的需求變化速度遠高于傳統模式,以微服務的方式通過領域模型的拆分與劃分,進行快速的微服務迭代方式研發,并通過可支持灰度與安全可控發布的云化模式上線,才能達到這樣敏捷的程度。
2.支持分布式事務處理:當核心應用基于分布式改造之后,對于余額等待狀態需要強一致性保障的操作而言,分布式事務的處理框架與保障機制會變得非常重要。同時在互聯網高頻特征下,在確保一致性的同時保證高性能,會對整個事務處理提出非常高的要求和挑戰。分布式事務處理是核心改造中的一個關鍵性問題。
3.支持分布式數據處理:在解決了核心業務應用能夠敏捷進行響應的挑戰之后,對于性能和擴展能力的要求也是在核心銀行系統的研發過程中碰到的一個重要挑戰,尤其對于基于互聯網的工作負載而言,需解決底層數據的高效和安全性。
3 IT系統存儲的選擇
3.1 集中式存儲
集中式存儲是各銀行常見的存儲設備,在銀行應用中,主要有SAN及NAS存儲、融合存儲、混閃、全閃等幾種存儲形態,磁盤的發展經歷了機械盤、SSD固態硬盤、NVMe接口全閃存等磁盤類型;隨著磁盤及存儲性能的穩步提升,延時和高可用性都得到了進一步的提升。銀行的主要應用場景也集中在核心業務、穩態系統、數據庫、虛擬化等。集中存儲功能完善,穩定性好,運維簡單,監控、運維體系健全,技術成熟,可選擇的范圍也很廣,從中低端到高端產品齊全。不足是:單體容量有限,可擴展性較差。
3.2 云存儲
在銀行數字化轉型的背景下,傳統的存儲模式,已經不適應當下金融業務所有需求。滿足各類場景下存儲的“軟能力”變得尤為重要。隨著各銀行對非結構化數據、海量文件的處理,分布式存儲也隨之出現了塊存儲、文件存儲、對象存儲等類型。
分布式云存儲,使用多臺PC服務器,構造一個軟件定義的存儲,其特點非常敏捷,資源可彈性部署、按需獲取,支撐新興業務快速上線;面對數據中心結構化、非結構化等復雜的數據類型,能提供豐富的訪問接入支持;可快速海量擴展性能與容量,擴展方式非常簡單,供極致性能,滿足并行數據處理需求;在滿足那么多功能與性能需求的同時,還能降低TCO。
3.3 云存儲和集中式存儲區別
在選擇上,如果系統對延時要求高,對性能的穩定性要求高,那么最好的選擇是集中式存儲。如果系統對IO吞吐量的要求高,而對性能要求沒那么高,云存儲是較高的選擇。對于海量數據的存儲,分布式存儲也是是更好的選擇。
在云計算環境、虛擬化平臺所用的存儲,如果虛擬機本身沒有承載高IO性能要求的應用(如數據庫應用),那么分布式存儲是較好的選擇,服務器的擴容和存儲的擴容可以根據實際存儲的用量同步進行。未來隨著分布式技術的發展,伴隨著云計算技術的發展,分布式存儲也將逐步在一段時間內成為主流。
對比表:
4.分布式云存儲的架構設計
以華為分布式云存儲為例。分布式云存儲架構如下所示,最右側對其按照邏輯分區抽象的分為節點池、硬盤池、資源池、存儲服務層和接入層5部分,其中節點池為底層的分布式服務器設備;硬盤池是對節點池的存儲硬盤進行抽象,對市面上硬盤產品進行相應的歸類,大致列包括 SATA盤、SAS 盤、SSD盤和 NVMe SSD盤這 4種類型的硬盤存儲;其上對由硬盤存儲組成的服務類型歸為塊存儲、文件存儲和對象存儲3種存儲資源池類型;而存儲服務層為分布式存儲本身具備的一些能力和特性,如多副本、糾刪碼、快照、克隆、遠程復制、Qos、訪問控制及故障域等;接入層則表示分布式存儲具備的標準化接口能力,如 iSCSI、NFS、CIFFS、S3 等業內標準的接口。左側的管理平臺則提供易管理、易操作的標準化界面,實現一體化的運維、管理和維護,同時也提供狀態監控、性能監控及故障的告警顯示等。
分布式云存儲通過系統軟件將標準硬件集群的本地存儲資源組織起來構建全分布式存儲池,實現一套存儲系統向上層應用提供塊存儲、文件存儲和對象存儲三種存儲服務。