"2023金融業數據庫技術大會" 有感
原創近日,有幸參加了2023金融業數據庫技術大會。本次大會以“數據庫賦能數智金融發展”為主題,邀請管理部門、金融機構、科技企業、研究機構等多方,共同對我國金融業數據庫技術的研究進展、應用實踐、風險挑戰、發展趨勢等進行了深入探討與交流。金融業作為數據應用“高地”,一直以來都很重視底層基礎平臺-數據庫的建設。特別是近些年來隨著金融業務轉型、自主創新需求、新技術架構突破等因素,數據庫在金融領域的應用正呈現一些新的變化趨勢。下文是我參加會議后的一些感受。
1. 參會有感:技術篇
1).路線之爭:分布式與集中式
曾幾何時,談到新型數據庫或信創數據庫,大家都不約而同認為是分布式數據庫。確實,近些年來分布式數據庫發展很快,很多國產數據庫也采用了分布式架構。同時在金融客戶的國產化替代過程中,因為對國產數據庫在穩定性、擴展能力、算法優化等方面的擔心,用戶也愿意去考慮選擇分布式架構。但從真實業務系統來看,超過70%、甚至80%以上的業務系統是可以采用集中式架構來解決的,而且其綜合成本、運維資源、技術成熟度等更具優勢。那么如何看待這一技術路線之爭?用戶又如何進行兩種路線的選擇呢?很多乙方廠商,給出的自己的答案。
? 集中式分布式一體化
從技術長期發展來看,集中式和分布式不是完全割裂的,而是可以做到統一。采用一套內核代碼,使用統一的開發、運維接口,可以在兩種架構間平滑過渡。用戶不用去糾結選擇哪種架構,而是可以根據需要隨時切換或升級架構。我們也看到了有廠商提出諸如“單機分布式一體化”的理念,正是基于這一考慮。
? 單一平臺,多種架構
分布式架構,經常被詬病的是組件眾多、使用復雜、成本投入高,特別是對于應用而言,不可避免的需要進行數據分片后的改造。一種新的思路是,基于分布式架構提供多種運行模式,針對數據規模有限、擴展需求不大的場景,可以使用“單分片”架構,這樣即可以充分利用分布式帶來的收益,保留未來擴展的可能性;又可以減少應用遷移改造的成本,可以快速實現業務平遷。對于數據規模大或有擴展需求的,可直接選擇分布式架構。這樣實現,一套平臺,兩種架構,滿足不同場景需求。
? 充分挖掘單機潛力
隨著近年硬件技術的快速發展,單機的能力有了巨大的提升,也就是說硬件上限被提的很高。在單機/集中式架構下,中小規模的應用其綜合使用成本是較低的,達到一定規模后會不及分布式架構的成本低;但這一規模已經可以滿足絕大部分用戶需求。因此,我們也看到近些年諸如“一體機”形態有重新火熱,通過極致的硬件組合可以滿足大部分需求,且通過一體化管控降低運維壓力。
2).產品選型:選路線非選產品
在具體的數據庫產品選項上,參會的很多甲方企業經過前些年的實踐,已經形成了自己的一套方法論。總結下來,可以大致總結為以下一些原則:
? 根據場景,選擇產品
面對金融企業復雜、多樣的業務場景,很難找到一種“one size fit all”的數據庫,之前的一家數據庫獨大的情況不再會發生。用戶可以根據協議、負載、并發、容量、形態等多種因素進行選擇。我之前也曾總結過,金融企業需整理自己的數據庫應用矩陣,來滿足內部的不同需求。
? 選擇標準,而非產品
這里所說的標準,是指數據庫的生態標準。與之前使用國外大型商業數據庫不同,國內數據庫產品的生態建設相對較晚,還沒有形成生態標準。因而在產品構建上大多選擇了兼容性,常見如對Oracle、MySQL、PostgreSQL的商業數據庫或開源數據庫的兼容。后續在設計開發層面,僅需面對生態標準編程即可。因此,在用戶選擇上選擇某種標準是比較好的做法,如選擇小眾產品又沒有兼容生態,則會冒很大的風險。
? 選擇多家,不依賴綁定
即使是某款產品能很好地滿足需要,在選擇時也要考慮其他可能,做到可隨時替代。一方面是因為廠商本身的不確定性帶來的風險,一方面是廠商的供給服務能力存在一定制約,難以滿足需要。選擇多家,可以有充分的靈活性,同時在采購、續約時也能保有一定話語權。
? 不迷信、不盲從,自主測試
目前國產數據庫廠商非常大,各家能力也參差不齊,很難通過一兩次交流就做出選型。同時,不同機構的業務場景也有其自身特點,很難采用通用的標準進行評測。很多甲方已經總結出符合自己情況的一套測試標準,通常包括有功能、非功能、性能、高可用等測試。通過這種方式,做出自己的選擇。
3).擴大場景:HTAP 成為剛需
此次大會上,很多用戶與廠商都同時提到了 HTAP 能力。確實,對于金融企業來說,很多場景很難通過簡單的OLTP、OLAP 進行劃分,混合負載的場景成為常態,這對國產數據庫來說提出了更高的要求。其實從本質來說,之前很多國外的商用產品,都是一種 HTAP 架構,也只有這樣才能滿足金融業務需求。雖然針對 HTAP 這一能力,不同廠商的實現技術差異較大,尚無統一的技術標準,但各家都將這一能力的提升作為產品的核心競爭力之一。相信未來針對這一技術能力,會形成技術共識。
4).降低門檻:全方位多層次兼容
兼容性也是這次大會被提及很多的一個能力,很多產品將兼容性提升到一定高度。從底層硬件適配,到內核層面的SQL 語法、庫內計算,到管理、安全、診斷、優化等,再到上層驅動、乃至上游生態如開發工具、BI工具等都希望能支持,進而達到全方位、多層次的兼容。即使無法做到兼容,也通過一系列的工具,來降低改造、遷移的工作量,進而減低遷移的門檻。自己之前也曾對兼容性寫過一篇文章,參考《Oracle兼容性面面觀》
5).規模供給:云化、容器與多芯
隨著國產數據庫在金融企業的規模化使用,頭部金融用戶的使用體量已經達到數千、乃至上萬節點數。如何快速實現資源供給,成為制約企業實施的因素。與會的很多甲方用戶,特別是頭部用戶,在數據庫落地實踐后都紛紛開始提升規模化供給能力。這其中技術能力包括有:
? 多芯:X86與國產化
所謂多芯,是指底層平臺是可以基于X86構建,也同時需要支持國產非X86的方式。這樣一方面可以實現利用全國產化平臺來承載業務,真正規避可能的卡脖子風險;另一方面可以充分利用多資源池,實現資源供給的多樣性。從乙方廠商來看,一方面需適配國產化平臺,另一方面將支持資源混部作為突破點,來解決有效利用資源及規避國產平臺穩定性風險作為賣點。
? 容器:解決管理痛點
在分布式數據庫使用中,通常會面臨規模大、節點多、組件多、故障多等問題及現象。如何實現分布式數據庫的規模化管理成為用戶使用上的普遍痛點。容器方式,通過獨有資源編排能力,可在一定程度上解決之一問題。部分頭部用戶,開始嘗試使用容器化來解決這一問題。
? 云化:實現規模化
IT 的終極架構在云上,金融企業也不例外,隨著國產數據庫逐步成熟,通過云實現規模化應用成為必然。很多頭部用戶在已有多年云平臺的基礎上,支持國產數據庫的服務,并通過“行業云”、“信創云”等實現對外或對內的技術服務。這方面相較于公有云,金融企業自己的云有著獨特優勢。
2. 參會有感:實踐篇
1).數據庫遷移規模化成難點
很多企業已經在內部做過了國產數據庫遷移,有了一定的經驗,但這其中的難點在于規模化問題。企業內不是一兩套系統,而是可能有上百套、數百套、乃至上千套的系統。如何在有限的時間內,付出可接受的成本完成遷移任務,同時還需保障業務正常開展是個大問題。信創實施不是做科研項目,不能采用定制化的方式,是需要以工程化(低風險)、可復制(標準化)、可推廣(服務化)的方式來完成。很多甲方用戶在進行一定體量的改造后,建立了數據庫遷移實施的規范標準,形成了“評估-實現-控制-改進”的科學方法論,進而實現遷移可評估、數據有保障、運行可觀測、風險可控制的遷移能力。形成了一批包括從系統開發、應用改造、應用測試、數據遷移(同步)、數據校驗、流量切換、優化分析等一整套工具或平臺。但這里有個較大的問題在于,大型金融企業這么做沒有問題,但對于廣大中小企業而言,既沒有足夠的技術積累,也沒有充足的財力支持,只能依賴于乙方廠商完成這一過程。因此如何將大型金融機構的成熟能力為其他用戶賦能,是個關鍵問題。
2).數據庫穩定運行風險
金融企業最為關注的是數據安全及業務可用性,作為數據的重要載體,數據庫承擔著至關重要的角色。如何滿足金融行業對數據一致性、運行可靠性的要求是進行國產化改造的關鍵。一方面乙方廠商通過自身技術積累、海量實踐磨合、新架構技術突破等手段來解決這一風險;另一方面作為甲方的用戶也在通過一系列運營手段來解決這一問題。很多甲方企業已經總結出一整套生產實施工藝,包括從可研評審、開發測試、遷移切換、基線管理、版本升級、配置管理、高可用部署、告警監控、應急處置等多個環節來解決。盡量從流程上去解決引入數據庫可能帶來的運行風險。
3).實施方式多種路徑各異
在具體的實施路徑及選擇方式上,不同企業差異很大。有的采取了“先核心、后推廣”的策略,通過核心系統遷移積累經驗、磨合產品、鍛煉隊伍,為后續的規模化復制做好鋪墊。有的則采取“先外圍、后核心”的策略,早期通過外圍系統選擇合適場景進行試點,然后再逐步深入。有的采取“平滑為主、重點突破”,通過將穩定業務優先平遷到國產庫,然后再找難點場景完成分布式改造,即先易后難的方式。這些路徑及方式的選擇,通常是根據企業的自身技術能力、業務特點、財力投入、戰略發展等有關,沒有標準經驗可復用。
3. 參會有感:發展篇
1).成熟度不足,還需驗證
隨著國產數據庫在金融業的規模化應用,特別是分布式數據庫的使用,在過程中暴露出國產產品的一些不足。金融行業作為數據庫應用“高地”,對海量規模、高并發、高穩定性等方面均提出苛刻的要求。國產數據庫產品在高性能、穩定性、可運維性方面普遍存在短板,需進一步提升。
2).專業人才短缺,阻礙發展
國產數據庫(含分布式數據庫),存在較大的人才缺口,特別是具有實戰進行的技術人員。一方面乙方廠商自有人員不足,三方資源培養也處于剛剛起步階段;另一方面以分布式數據庫為代表,技術領域跨度大,專業技術人才的培養較長;第三方面不僅僅在運維側、針對分布式架構在研發、架構側同樣繼續人才,這方面更加匱乏。
3).無標準體系,推廣困難
目前缺乏數據庫標準體系,需聯合行業與產業端,加強數據庫金融應用標準規范建設。覆蓋從路線、架構、產品選型,到開發、測試、遷移,再到部署、上線、保障全流程的使用體系;進而推動金融行業與數據庫產業融合健康發展。
4).開源生態存在安全風險
開源數據庫在金融行業已經大規模使用,很多國產數據庫也是基于開源基礎進行構建的。需充分借鑒、吸收開源技術、融合開源技術生態,走獨立自主演進開源技術道路,實現彎道超車。在使用中應加強開源數據庫在金融業的管理、合規治理,考慮收斂技術棧,加強開源數據庫風險防范并形成機制。
5).加速從“能用”到“好用”轉變
希望數據庫廠商,加大投入,針對金融行業客戶的典型場景,加快產品迭代,不斷優化產品。加速產品從“能用”到“好用”的快速轉變,擴大、深化國產數據庫在金融行業使用。
6).提升服務意識,做好保障
金融行業是涉及國計民生的重要行業,其穩定性、可靠性尤為重要。希望廠商在應用實施過程中,投入更多資源,做好售后技術保障工作,加快響應速度,制定有效的應急手段,提供全面、優質的服務保障體系。畢竟好的產品還需要好的服務配合,才能在用戶處發揮更大作用。