穩定支撐國有大行新一代核心系統,華為云數據庫GaussDB靠什么?
原創如今的數據庫市場呈現出一片百花齊放、百家爭鳴的新面貌。無論是傳統數據庫廠商、云數據庫廠商、還是新興數據庫廠商,都在不遺余力地打造各種類型的數據庫:如OLTP、OLAP、HTAP、NoSQL等。據悉,僅我國就有200多款數據庫產品。雖然數據庫種類多、產品多,但整體的發展方向基本一致,即:云原生、分布式、HTAP、多模等。其中,分布式可謂是重中之重。
這是因為隨著企業業務全面向數字化、在線化、智能化演進,企業面臨著呈指數級增長的海量數據帶來的存儲需求和挑戰,業務上有更多的熱點和突發流量帶來的挑戰,企業需要降本增效,進行更加智能化的數據決策,傳統的數據庫已經難以滿足和響應快速變化且持續增長的業務訴求。而分布式數據庫具有透明性、數據冗余性、易于擴展性、自治性等特點,還具有經濟、性能優越、響應速度更快、體系結構靈活、易于集成現有系統等特點,可以很好地解決企業用戶的核心訴求。
七大關鍵技術,承載金融級核心系統
金融行業,尤其是銀行業是對數據庫依賴度極高、又對數據庫要求最為嚴苛的行業。隨著互聯網及移動互聯網技術的興起,網上銀行、手機銀行、電子支付等新業態出現,高并發、海量數據、超高峰值等挑戰接踵而至,導致數據資源存儲、計算和應用等需求大幅提升。以往銀行業務架構采用的大/小型機+集中式數據庫的方案,已經難以滿足對業務穩定性與連續性的要求。而分布式數據庫可以滿足金融行業高可靠、高性能、低成本、平滑擴展等需求,逐漸成為了金融行業打造核心競爭力的重要手段之一。
從安全的角度出發,今年早些時候,中國人民銀行會同市場監管總局、銀保監會、證監會聯合印發了《金融標準化“十四五”發展規劃》,提出要穩步推進金融科技標準建設,系統完善金融數據要素標準,健全金融信息基礎設施標準,強化金融網絡安全標準防護,推進金融業信息化核心技術安全可控標準建設。對于金融業務來說,安全是數字金融服務的基石。為了滿足金融行業高擴展、高并發、高性能、高安全性等挑戰,華為云在去年推出了主打金融政企核心業務負載的分布式數據庫旗艦產品——GaussDB,這是華為深度融合多年數據庫領域經驗,充分結合企業級場景需求,基于openGauss自研生態推出的企業級分布式關系型數據庫。是什么樣的特性使得GaussDB 俘獲了眾多金融行業用戶的心呢?這要從其關鍵技術說起。
首先是分布式執行框架。業務應用下發SQL給Coordinator,SQL可以包含對數據的增(insert)、刪(delete/drop)、改(update)、查(select)。Coordinator利用數據庫的優化器生成執行計劃,每個DN(Data Node)會按照執行計劃的要求去處理數據。
GaussDB 分布式執行框架示意圖
因為數據是通過一致性Hash技術均勻分布在每個節點,因此DN在處理數據的過程中,可能需要從其他DN獲取數據,GaussDB提供了三種stream流(廣播流、聚合流和重分布流)來降低數據在DN節點間的流動。DN將結果集返回給Coordinator進行匯總。Coordinator將匯總后的結果返回給業務應用,從而提升復雜SQL查詢的性能。
第二是GTM-Lite技術。GTM-Lite可以在保證事務全局強一致的同時,提供高性能的事務處理能力,避免了單GTM的性能瓶頸。這里的高性能事務管理指的是無鎖、多版本、高并發事務技術。而且分布式的GTM-Lite方案提供全局事務快照和提交管理,實現強一致性,且無中心節點性能瓶頸。
第三個關鍵技術是基于NUMA-Aware實現高性能事務處理。結合鯤鵬多核CPU架構優勢,通過進行NUMA綁核、對全局數據結構進行NUMA分區改造,減少跨核處理和核間沖突,提升業務并行處理能力;充分利用鯤鵬原生Atomic_LSE指令,實現NUMA-Aware自旋鎖,大幅降低指令數,有效提升指令效率,性能更強。
GaussDB NUMA-Aware技術架構示意圖
第四個關鍵技術是集群HA,多層級冗余實現系統無單點故障。GaussDB通過硬件冗余、實例冗余、數據冗余,實現整個系統無單點故障,高可用。其中硬件高可用包括存儲磁盤RAID冗余、網絡雙交換機冗余、多網卡冗余、主機UPS電源保護。軟件高可用則包括協調節點CN實例多活冗余、數據節點/全局事務管理/ 集群管理器實例Active-Standby冗余。除此之外,GaussDB還通過全量+增量備份,打造閃回和PITR等企業級能力,實現數據按需回退、任意時間點的數據恢復,最終進一步保障數據庫的高可用。
第五個關鍵技術是跨AZ/Region容災技術帶來的高可用。首先是集群內高可用,實現了數據不丟失和業務秒級中斷。同城跨AZ容災,數據不丟失,實現了分鐘級恢復。
除了同城跨AZ, GaussDB還推出了同城雙集群高可用方案,提供金融級高可用服務,支持RPO=0 、RTO<60s的同城雙集群切換,主集群在出現故障的情況下,備集群還具備繼續提供服務的能力,盡最大可能保障企業用戶的核心業務7x24小時無中斷。
第六個關鍵技術是Scale-out在線橫向擴展帶來高擴展。GaussDB支持單集群1000+節點,節點擴展下能夠獲得卓越的性能線性比,同時節點擴容能夠做到完全在線,對客戶透明。節點擴容完成后DN數據自動重分布,CN自動完成負載均衡。
GaussDB Scale-out橫向擴展示意圖
第七個關鍵技術是一站式遷移解決方案。GaussDB基于數據庫和應用遷移(UGO)和數據復制服務(DRS),從遷移評估、結構遷移、應用遷移、全量+增量數據遷移、數據一致性動態校驗、流量回放等方面提供了一站式遷移上云方案,讓客戶上云更輕松、更高效。
為眾多金融機構打造安全可靠的數字底座
在對數據庫要求最為苛刻的金融行業,多家國有商業銀行,以及股份制銀行和保險證券機構,已經堅定選擇了華為云分布式數據庫GaussDB作為數字化轉型的堅實數據底座。
今年4月,郵儲銀行新一代分布式核心系統全面投產上線的消息引發了業內的廣泛關注,這是國有六大行首個落地的分布式金融新核心系統。
與其他大行一樣,郵儲銀行以往采用了經典的大型機+商業軟件架構支撐初期的信息化建設。日常業務中,銀行有不計其數的客戶交易記錄、交易明細查詢、歷史賬戶信息等數據,還需要實時的金額收支分析。隨著金融服務在線化,小額交易頻次越來越高,傳統的核心系統受到劇烈沖擊,容量瓶頸、性能支撐、業務負載等挑戰隨之而來,尤其在交易高峰時段,因系統彈性不足時常造成交易擁堵,嚴重影響了用戶體驗。
2019年,郵儲銀行開始對核心系統進行重構,選擇了華為云分布式數據庫GaussDB作為新一代個人業務核心系統IT數字化底座的重要組成部分,進行全新的分布式改造。GaussDB采用行業先進的全并行分布式架構,通過多個節點并行來分擔系統壓力,提供極致吞吐量;還擁有超大存儲容量,支持事務的強一致性;在數據保護方面,提供兩地三中心的容災方案和多層級冗余保障數據的實時安全,實現系統無單點故障。
上線后的新系統可支撐海量交易、彈性伸縮、金融核心級高可靠和高可用,可具備為全行6.37億個人客戶、4萬個網點提供日均20億筆,峰值6.7萬筆/秒的交易處理能力。
除了郵儲銀行,GaussDB還聯合工商銀行探索和打造以分布式數據庫為基礎的金融級數據庫轉型解決方案。對標工行主機“兩地三中心”部署架構和高可用能力,基于存算分離形成多集群部署架構,夯實分布式數據庫核心承載能力。同時聚焦傳統數據庫與應用耦合度高的難點,錘煉數據庫平滑遷移能力,實現異構數據庫的自動遷移。
永安財產保險是陜西省最大的財險公司。華為云幫助永安財險重構了核心系統并實現了主流商業數據庫切換,同時降低了運維壓力。通過切換至分布式數據庫GaussDB,實現數倍性能提升,提高了業務運轉效率,整體資源投入節省25%。
由此可見,GaussDB足以勝任金融行業的多方面需求。
支撐金融行業核心架構,任重而道遠
數據庫作為金融信息系統的核心基礎設施,歷經數十年發展,為金融行業轉型升級提供了有力的技術支撐。同時可以看到,分布式將是數據庫當前乃至未來的發展趨勢之一,有無限廣闊的市場和空間。
雖然分布式數據庫的發展歷史相對較短,但卻具備極致的擴展性、可用性和開放性,面臨以金融行業為代表的海量數據存儲、流量洪峰等業務場景有得天獨厚的優勢。華為云分布式數據庫GaussDB深度結合了華為在數據庫領域多年來的技術積累和實踐經驗,能滿足客戶高安全、高可靠、高性能、高擴展、智能化全方位需求,為金融機構提供功能全?、穩定可靠、擴展性強以及性能優越的企業級數據庫服務。未來,GaussDB也將持續深耕技術創新,凝聚力量,助力金融機構安心上云,實現金融行業高效數字化轉型!