國產化數據庫正當時!騰訊云 TDSQL 賦能金融核心系統替換
原創近日,由 51CTO 主辦的 WOT 全球技術創新大會在北京圓滿落幕,50 余位具備前瞻視野和實踐經驗的講師、專家、以真場景·真實戰·真方法為準則,一起探究新技術如何幫助企業實現數字化能力的飛躍和提升。
近年來,在自主創新的時代背景下,數據庫國產化替代正在加速演進,金融行業率先成為各行業國產化推進的先行者。在 WOT 全球技術創新大會《國產數據庫在金融核心系統應用實踐》專場,騰訊云多位技術專家圍繞國產化數據庫替代難點、國產化數據庫遷移思路和方法等方向進行經驗分享。
打造新一代國產化精品,TDSQL 助力政企夯實數字基座
騰訊云數據庫產品總監陳琢
如今是國產軟件最好的時代,國家在大力推進國產化替代,從硬件到操作系統、數據庫、中間件,全鏈路的國產化需求旺盛,政企陸續進行核心系統替換和分布式改造。
騰訊云數據庫產品總監陳琢
核心分布式數據庫改造主流技術方案分為兩種,一種方案是應用進行單元化改造。業務應用根據一定規則拆分成若干單元,并且在同一個單元內,計算和存儲采用同一個資源。這種改造方式的優點是易于擴容和變更,控制粒度更細,可以降低故障影響面,缺點是資源消耗高,運維自動化要求也高。第二種方案是分布式+微服務改造的路徑。按照業務主體來拆分業務,微服務之間通過框架實現跨服務之間分布式事務的處理。優點是通過模塊化解決方案,服務級擴容,實現分布式事務處理,應用更加簡單,但改造應用從而適配分布式數據庫,在極端情況下故障影響面大。
陳琢表示,微眾銀行和某國有大行的核心交易系統采用單元化的方案,而城商行和農商行選擇分布式+微服務的方式較多,也有部分銀行采用分布式+微服務和單元化兩種改造混用的方式。不同需求場景下,騰訊云國產數據庫TDSQL均可提供具有競爭力的產品和遷移方案,幫助行業用戶遷移傳統國外廠商的核心數據庫系統。
陳琢重點介紹了TDSQL 新版本的特性。通過引入列存計算引擎,復雜查詢性能力提升 100+ 倍,打造極致的 HTAP 能力;在備份回檔基礎方面,TDSQL 提供更豐富更快速的數據恢復能力,包括主動閃回和回收站,防止實際生產過程中出現問題。此外,TDSQL 還支持雙軌運行方案,在國產化資源池構建實例,在原有 x86 資源池構建另一套實例,兩個實例之間的數據是強同步,RPO 為 0,通過一云多芯,支持通用 x86 與國產資源混部。TDSQL以內核兼容為基礎持續增強Oracle 兼容能力,打造驅動、工具、內核三個層面的兼容。
目前,TDSQL 解決方案應用落在在國內最大規模的政務云項目中,由 TDSQL 數據庫承載原有業務,規模上支持總局、31 個省、5 個計劃單列市(深圳、廈門、大連、青島、寧波)的37套架構,并且數據同步鏈路規模最大、最復雜。
此外,騰訊云還在積極建立 TDSQL 上下游生態圈,從基礎環境、業務系統、集成生態三個方面進行全面適配,在集成方面,騰訊云通過與認證服務商合作,共同打造 TDSQL 服務生態環境,讓利給合作伙伴;在行業方面,騰訊云聯合頭部合作廠商,進行商機共享、優勢互補。
TDSQL 助力金融業核心系統創新應用實踐
騰訊云數據庫高級工程師于沛濤
過去,金融行業核心系統對國外廠商依賴程度超過 90%,技術架構與硬件耦合性強。隨著國產化替代的推進,金融行業核心系統軟硬件均可實現 100% 國產化,開源軟件與自主研發結合的方式,更加自主可控。國產化數據庫+微服務架構的技術組合,贏得了諸多金融企業的青睞。
騰訊云數據庫高級工程師于沛濤
于沛濤表示,國產化數據庫有三大優勢。首先,國產化分布式消除了資源天花板瓶頸,由于橫向擴展對硬件的依賴是松耦合的,因此,普通的 x86 服務器就可以滿足業務的增長,并且可以實現降本增效。第二,數字化轉型催生大量業務創新,企業可以通過國產化數據庫的彈性可擴展來響應業務創新的需求;第三,在國家監管要求下,金融機構可以實現自主可控,推進金融業關鍵信息基礎設施國產化進程。
然而,金融行業國產化數據在穩定性、兼容性、可用性、安全性、易用性等方面要求非常高,才能保障金融業務的政策運行。因此,騰訊云提供了企業級分布式數據庫 TDSQL。
TDSQL 架構由平臺管理、計算節點組和存儲節點組組成。管理平臺稱之為赤兔平臺,包括多個內部管理組件,通過全圖形化的操作方式,用于數據庫的管理和運維。計算節點組主要由 SQL 引擎組成,響應前端 SQL 請求;存儲節點組也稱為數據節點,可以根據業務情況來創建分布式數據庫和集中式數據庫。據了解,TDSQL 具有雙內核引擎,MySQL 引擎完全兼容 MySQL 協議,面向高性能、大并發、大容量的 OLTP 場景;PostgreSQL 引擎特定場景下可Oracle兼容度高達 98% ,具有 AP 能力,面向海量數據復雜的 HTAP 場景。
于沛濤介紹,TDSQL 有四大優勢,包括穩定性、易用性、兼容性和高可用性。由于 TDSQL兼容 Oracle/MySQL 接口,開發人員可以按照自己的開發習慣進行處理,避免被綁定,同時,云上云下同源,保證輸出的穩定性。在易用性方面,開發人員更容易上手,運維人員通過圖形化監控運維平臺操作,降低上手難度。在兼容性方面,企業可以根據自身業務場景、應用數量,靈活地選擇小型業務集中式實例;對于大型關鍵業務,可以從原有集中式切換到分布式架構,以便獲得更好的擴展性。在高可用方面,TDSQL 針對金融行業進行了深度適配,確保多副本架構下數據強一致,避免故障后導致結群數據錯亂和丟失;基于TXSQL 內核的強一致復制功能,可以實現同城雙中心 RPO=0 的容災能力,確保 99.999% 以上可用性,同城自動切換 RTO<40 秒。
金融企業對于TDSQL 的建設通常有兩種情況,一種是基于某個項目或某個業務進行建設;另一種是 TDSQL 深度使用用戶,在全業務級別進行數據庫規劃。于沛濤建議,企業在進行數據庫整體規劃時,最重要的是選定硬件基線,包括服務器、網絡、操作系統等。在硬件配置完成后,建議企業對網絡規劃進行相應的網絡分區,并且要考慮多網絡平面。接下來,就要進行TDSQL 數據庫實例規格與性能基線的選定,對于全業務規劃時建議采用統一規格配置,便于管理。此外,業務級別與容災架構也是相關聯的,對于核心業務,于沛濤建議采用兩地三中心結構,并且業務獨占集群。
某商業銀行信用卡核心系統,采用了 DSY 單元化架構模式,每一個單元是完全獨立的邏輯單元。通過采用兩地三中心模式,某一個中心的單元出現了故障后,另一個中心的單元可以繼續訪問數據庫,保障業務連續性。在采用 TDSQL 數據庫后,信用卡新核心系統設計支持3 萬/秒交易并發,支持 30 億交易賬戶,同時支持小時級批量處理時效。相比老系統,新系統支持橫向擴展,處理能力提升了 10 倍。并且,新系統 IT 成本僅為老系統的 1/3,真正意義上實現了銀行IT架構的革新。
騰訊云數據庫一站式遷移解決方案
騰訊云數據庫高級產品經理程學飛
商業數據庫成本高,并且集中式架構限制了線性擴展能力,加之安全自主可控以及國產化替代等原因,企業需要進行異構數據庫遷移。
數據庫遷移難點主要集中在四個方面。首先是遷移成本高、工作量大,人工操作數據庫遷移風險較高,遷移周期長,耗費的人力成本較高。第二,數據庫遷移技術復雜。數據庫遷移對操作人員的技術水平要求較高,不僅需要掌握源數據庫的技術還有懂得目的數據庫的技術,并了解數據庫之間遷移技術。第三,異構數據庫的兼容程度不好評估。源庫遷移到目的數據庫的對象兼容程度如何,應用 SQL 兼容程度如何,遷移改造的風險和難度如何量化評估。第四,遷移過程無標準化流程。整個遷移過程可復用程度低,沒有一個標準化的最佳實踐方案。
騰訊云數據庫高級產品經理程學飛
針對數據庫遷移的四大痛點,騰訊云也提出了對應的解決之道。程學飛介紹道,針對遷移成本高、工作量大,騰訊云提供簡單易用的數據庫遷移平臺 DTS-DBbridge;針對數據遷移技術復雜問題,騰訊聯合生態多年數據庫運維和研發經驗工程師的技術積累。針對異構數據庫的兼容程度不好評估問題,企業可以通過 DBbridge 自動化的評估和改造工具,平臺化的數據庫對象和應用評估功能,全面完整的遷移評估報告。針對遷移過程無標準化流程問題,騰訊云提供標準化異構數據庫遷移流程,從評估、改造、遷移、校驗等標準化和經檢驗的遷移流程。
騰訊云數據庫 DTS-DBbridge 軟件支持 Oracle、MySQL、MariaDB、PostgreSQL、SQLServer、DB2 等多種關系型數據庫數據庫遷移,可以幫助用戶在業務不停服的前提下輕松完成數據庫遷移上云,利用實時同步通道輕松構建高可用的數據庫容災架構,也可以通過實時數據傳輸為下游數據分析、應用測試、數據中臺等業務提供強有力支撐。
在遷移評估方面,DTS-DBbridge 可以對表索引最基礎的對象進行評估,并且出具相應的評估報告,指出對象是否在騰訊云數據庫中兼容,對于不兼容的對象提出建議。在應用評估方面,針對客戶現有的函數體,存儲過程、觸發器等方面,DTS-DBbridge 會對其中的語法進行評估,騰訊技術工程師回有針對性地進行改造。在數據的遷移和同步方面,DTS-DBbridge 不僅能夠實現客戶現有的全量數據遷移,也可以實現數據增加的同步和訂閱。在數據比對方面,無論是數據遷移還是數據同步,如何保證數據的一致性,可以借助數據比對工具,通過頁面配置后的簡單操作就可以完成。
據了解,DTS-DBbridge 是四層的分層架構。最底層是IaaS層,不僅可以部署在物理機,還可以部署在虛擬機和容器上。在插件層,騰訊云將每一個數據庫類型都形成一個功能插件,用戶可以直接在 DTS-DBbridge 平臺調用,包括遷移評估、數據抽取、數據裝在和數據校驗等能力。在平臺層,DTS-DBbridge 提供任務定義管理、任務管理、任務調度、任務高可用、配置中心等功能。在業務層,DTS-DBbridge 提供數據源管理、遷移規則管理、遷移通道管理、遷移評估和數據校驗等能力。
此外,騰訊云還總結多年遷移經驗,形成了整體遷移的最佳實踐,通過標準化遷移流程,結合遷移專家經驗,可以成功將相關數據庫遷移到騰訊云數據庫。首先,騰訊云會對客戶進行評估,對現有業務系統進行摸排,并根據摸排狀況進行遷移評估;評估后會出具評估報告,提供相應的改造建議,而后騰訊云專家會提出方案的設計;方案設計完成后,要提供邊緣化的測試系統,進行可行性驗證,確認方案是否可行;方案確認可行后,就可以配合業務廠商和數據廠商進行相應的改造;改造完成后,再進行具體的業務測試,以及割接演練和業務驗證;確認沒問題后就可以進行正式割接,并提供持續護航保障。
某股份制銀行原有數據庫采用 Oracle,但 Oracle 備庫是可讀不可寫,通過 DTS-DBbridge,將 Oracle 備庫數據同步到 TDSQL。在業務割接上線前,通過全量多通道遷移+正向多通道增量數據持續同步,保障業務不停可以隨時割接至目標 TDSQL;在業務割接上線后,關閉正向單通道增量同步,開啟反向向增量同步,保障業務可隨時回切到源 Oracle 庫,保障數據安全性。
結語
如今,金融業務創新快速發展,推動著新技術正以前所未有的速度和力度發生深層次變革。這些技術發展,對金融服務模式帶來重大影響,使得金融行業向數字化、分布式轉型成為必然趨勢,金融業務創新與科技創新正在相互促進,重塑金融行業系統能力。
騰訊云數據庫也會不斷進行技術創新,總結數據庫遷移最佳實踐經驗,賦能金融行業核心業務系統替換,為金融業務國產化建設持續保駕護航!