金融數(shù)據(jù)分析應(yīng)用四道難關(guān) 南大通用攜手英特爾夯實(shí)數(shù)字化轉(zhuǎn)型基石
大數(shù)據(jù)時代,行業(yè)數(shù)據(jù)存儲一直是企業(yè)數(shù)字化轉(zhuǎn)型過程中首要考慮的問題。隨著AI、IoT技術(shù)的快速發(fā)展以及云的大范圍應(yīng)用,企業(yè)對于基礎(chǔ)設(shè)施能力的建設(shè)愈發(fā)重視。
數(shù)據(jù)庫是互聯(lián)網(wǎng)時代企業(yè)早期應(yīng)用的核心,當(dāng)數(shù)據(jù)洪流襲來,數(shù)據(jù)應(yīng)用也滲透到技術(shù)、業(yè)務(wù)等各個層面時,企業(yè)在面對數(shù)據(jù)存儲及分析時也面臨著一些新的挑戰(zhàn)。尤其是金融行業(yè)的數(shù)據(jù)存儲問題,業(yè)務(wù)增長和拓展往往伴隨著海量的結(jié)構(gòu)化數(shù)據(jù)處理,再加上金融行業(yè)對數(shù)據(jù)存儲在安全、效率、合規(guī)等多方面的要求,傳統(tǒng)的數(shù)據(jù)庫已經(jīng)很難滿足金融行業(yè)業(yè)務(wù)發(fā)展需求。
目前國內(nèi)大數(shù)據(jù)領(lǐng)域發(fā)展迅速,國產(chǎn)數(shù)據(jù)庫的崛起已成必然之勢。在這樣的背景下,南大通用自主研發(fā)的GBase8a脫穎而出,它是一款大規(guī)模分布式并行處理(MPP)數(shù)據(jù)庫集群系統(tǒng),面向海量數(shù)據(jù)查詢分析應(yīng)用,可以滿足結(jié)構(gòu)化數(shù)據(jù)的存儲、分析、挖掘、備份等多種需求,可以有效支撐起金融行業(yè)業(yè)務(wù)拓展的需求。
為了強(qiáng)化GBase 8a能力,南大通用與英特爾合作,使用英特爾®至強(qiáng)®可擴(kuò)展處理器作為產(chǎn)品的核心,并在英特爾推出全新數(shù)據(jù)中心平臺后對產(chǎn)品進(jìn)行更新,進(jìn)一步強(qiáng)化GBase 8a的性能表現(xiàn)。
金融數(shù)據(jù)存儲四道難關(guān)
大數(shù)據(jù)行業(yè)逐漸成熟,一方面是國家政府的大力支持,另一方面是技術(shù)創(chuàng)新潮流下,各類新應(yīng)用引發(fā)的數(shù)據(jù)量爆發(fā)使得業(yè)務(wù)模式發(fā)生改變,促使大數(shù)據(jù)行業(yè)進(jìn)入新的階段。
金融行業(yè)由于自身特殊的行業(yè)屬性,在發(fā)展過程中會面臨結(jié)構(gòu)化數(shù)據(jù)的飛速增長。目前,在日趨復(fù)雜的業(yè)務(wù)環(huán)境與數(shù)據(jù)增長背景下,數(shù)據(jù)庫在金融行業(yè)中的應(yīng)用主要面臨以下四個難點(diǎn):
一是數(shù)據(jù)多樣化且迅速爆發(fā),數(shù)據(jù)分析及吞吐量出現(xiàn)瓶頸。在金融行業(yè)的創(chuàng)新業(yè)務(wù)中,數(shù)據(jù)的來源多種多樣,數(shù)據(jù)存儲前需要進(jìn)行整合后分析。而且數(shù)據(jù)集的規(guī)模會達(dá)到數(shù)TB甚至數(shù)十PB的級別,用戶并發(fā)量遠(yuǎn)遠(yuǎn)超過傳統(tǒng)業(yè)務(wù)承載能力,這對于數(shù)據(jù)庫的吞吐能力帶來了嚴(yán)峻挑戰(zhàn);
二是TCO快速攀升。快速膨脹的數(shù)據(jù)庫系統(tǒng)帶來了對于云與數(shù)據(jù)中心基礎(chǔ)設(shè)施的旺盛需求,推動了總體擁有成本(TCO)的快速攀升。企業(yè)用戶不斷尋求通過硬件更新、軟件優(yōu)化等形式來提升單節(jié)點(diǎn)個服務(wù)器的性能表現(xiàn),進(jìn)而提高投資收益;
三是數(shù)據(jù)存儲IO效率低,難以支撐企業(yè)內(nèi)部協(xié)作展開。數(shù)字時代下企業(yè)各業(yè)務(wù)部門之間的協(xié)同更加重要,對于企業(yè)的關(guān)鍵業(yè)務(wù)來說,更高的處理效率及更低的延時是核心,這就對數(shù)據(jù)庫IO操作的效率與服務(wù)質(zhì)量提出新需求;
四是數(shù)據(jù)安全,這是金融行業(yè)中備受關(guān)注的問題。數(shù)據(jù)即價值,企業(yè)用戶在選擇數(shù)據(jù)庫時不僅要考慮性能、時延等因素,還要對數(shù)據(jù)存儲的安全性及容災(zāi)能力進(jìn)行評價,特別是在業(yè)務(wù)進(jìn)行數(shù)據(jù)分析時對數(shù)據(jù)權(quán)限的把控。
南大通用分析性數(shù)據(jù)管理系統(tǒng) GBase 8a 系統(tǒng)架構(gòu)
南大通用是國內(nèi)主攻國產(chǎn)數(shù)據(jù)庫研發(fā)和推廣的數(shù)據(jù)庫公司,針對大數(shù)據(jù)時代企業(yè)數(shù)據(jù)的有效管理,南大通用自主研發(fā)了GBase 8a、GBase 8s、GBase8c 等數(shù)據(jù)庫產(chǎn)品。GBase 8a是一個大規(guī)模分布式并行處理(MPP)數(shù)據(jù)庫集群系統(tǒng),相比于傳統(tǒng)數(shù)據(jù)庫,GBase 8a在結(jié)構(gòu)化數(shù)據(jù)的處理上具備突出優(yōu)勢,支持從數(shù)TB到數(shù)十PB的數(shù)據(jù)集。
從研發(fā)、應(yīng)用到成熟,GBase 8a經(jīng)歷了很長時間的沉淀。2014年國內(nèi)某銀行總行的大數(shù)據(jù)平臺項(xiàng)目上線,面對每天TB級的數(shù)據(jù)增量、復(fù)雜的庫內(nèi)作業(yè)、超長的日運(yùn)行時間以及多樣的數(shù)據(jù)來源,南大通用與之一起,將GBase數(shù)據(jù)庫成長為足以支撐如此高強(qiáng)度行業(yè)應(yīng)用的世界級數(shù)據(jù)庫:部署近2000個節(jié)點(diǎn),管理數(shù)據(jù)超25PB,無故障運(yùn)行超過2000天(案例參考:http://www.gbase.cn/case_info/1188.html)。
目前,GBase8a已在中國人民銀行、中國銀行保險監(jiān)督管理委員會、中國證券監(jiān)督管理委員會、中國農(nóng)業(yè)銀行總行、中國銀行、中國工商銀行、招商銀行等金融領(lǐng)域部署規(guī)?;瘧?yīng)用,且已經(jīng)向電信、政企等多領(lǐng)域延伸。特別在電信行業(yè)中已經(jīng)在中移動總部及30個省市均有規(guī)模化部署。目前GBase8a數(shù)據(jù)庫已經(jīng)在全球34個國家部署超過30000個節(jié)點(diǎn),管理超過200PB的數(shù)據(jù)(數(shù)據(jù)參考:http://www.gbase.cn/casee/377.html)。
南大通用攜手英特爾:讓數(shù)據(jù)迸發(fā)新價值
多年的熬煉,造就了南大通用GBase 8a出眾的性能。在中國信通院第十二批大數(shù)據(jù)產(chǎn)品能力數(shù)據(jù)庫基礎(chǔ)能力評審會上,南大通用GBase 8a以4096個節(jié)點(diǎn)的集群規(guī)模滿分通過中國信通院大數(shù)據(jù)產(chǎn)品大規(guī)模能力的基礎(chǔ)能力評測,這是目前中國信通院大數(shù)據(jù)產(chǎn)品大規(guī)模能力的基礎(chǔ)能力通過評測的規(guī)模最大的MPP數(shù)據(jù)庫集群,這個成績在國際市場同樣具備很強(qiáng)的競爭力。這也讓南大通用成為目前第一個在4096個節(jié)點(diǎn)規(guī)模下完成了性能專項(xiàng)測評的國產(chǎn)數(shù)據(jù)庫廠商。
這主要得益于GBase 8a強(qiáng)大的擴(kuò)展性。GBase 8a的每一個服務(wù)器使用的均是本地資源,基于節(jié)點(diǎn)對等扁平架構(gòu),讓GBase 8a的橫向擴(kuò)展能力大幅增強(qiáng)。同時,集群計算性能和存儲容量能夠跟隨集群擴(kuò)展呈現(xiàn)線性增加。
GBase 8a同樣具備新型的列存儲引擎、高數(shù)據(jù)存儲壓縮比、免維護(hù)的粗粒度索引及多實(shí)例部署等多項(xiàng)大數(shù)據(jù)處理技術(shù)。在MPP高效分布式計算模式下,結(jié)合分布式智能優(yōu)化器,GBase 8a能夠完成對PB級結(jié)構(gòu)化數(shù)據(jù)分析類應(yīng)用的支撐。
不僅如此,GBase 8a還能通過集群內(nèi)部副本同步技術(shù)、雙重集群技術(shù)、跨域集群數(shù)據(jù)傳輸同步技術(shù)及虛擬集群技術(shù),來保障大數(shù)據(jù)下集群的高可用性和多集群支持,實(shí)現(xiàn)多數(shù)據(jù)中心的部署。
在行業(yè)應(yīng)用市場,GBase 8a根植大數(shù)據(jù)分析應(yīng)用,主要服務(wù)于電信、金融、能源等大型企業(yè)。2019年,南大通用與英特爾合作,并入選英特爾精選解決方案,這一方案可以幫助數(shù)據(jù)密集型行業(yè)用戶提升數(shù)據(jù)分析性能,并顯著降低應(yīng)用響應(yīng)時間。
CPU是數(shù)據(jù)庫系統(tǒng)整體性能發(fā)揮的核心,基于GBase 8a的英特爾精選解決方案可充分發(fā)揮英特爾至強(qiáng)可擴(kuò)展處理器的性能優(yōu)勢,隨著第三代英特爾®至強(qiáng)®可擴(kuò)展處理器的推出,方案升級后GBase8a的性能表現(xiàn)再次增強(qiáng),業(yè)務(wù)運(yùn)行效率隨之提高。
第三代英特爾®至強(qiáng)®可擴(kuò)展處理在性能和功能方面均有大幅提升,具體來看主要有三點(diǎn):
1、對于數(shù)據(jù)庫應(yīng)用而言,第三代英特爾®至強(qiáng)®可擴(kuò)展處理器最新的微架構(gòu)以及核心數(shù)量的增加,是推動數(shù)據(jù)庫性能實(shí)現(xiàn)增長的關(guān)鍵,有助加速IO密集型負(fù)載的處理,在同等的服務(wù)器數(shù)量前提下,實(shí)現(xiàn)性能的顯著增長;
2、第三代英特爾®至強(qiáng)®可擴(kuò)展處理器提供了8個插槽配置的多插槽內(nèi)核計數(shù)密度,每個處理器最多可達(dá)40個核心,與第二代英特爾至強(qiáng)可擴(kuò)展處理器相比,性能、吞吐量和CPU頻率顯著提高,在主流數(shù)據(jù)中心工作負(fù)載上性能平均提升46%。
3、第三代英特爾®至強(qiáng)®可擴(kuò)展處理器增加了數(shù)項(xiàng)全新的增強(qiáng)型平臺功能,針對云、人工智能、高性能計算、網(wǎng)絡(luò)、安全和物聯(lián)網(wǎng)工作負(fù)載進(jìn)行優(yōu)化,在處理20種主流機(jī)器學(xué)習(xí)、深度學(xué)習(xí)工作負(fù)載時,第三代英特爾®至強(qiáng)®可擴(kuò)展處理器能夠帶來高于其他CPU 1.5倍的性能提升。且其新增了PCIe-Gen4 支持,增加了內(nèi)存帶寬,每路處理器內(nèi)存容量達(dá)6TB,還增加了AVX-512指令。
這些能力的加持下,GBase 8a擁有了無縫性能的基礎(chǔ),同樣也有助于加快多云、智能邊緣和后端等數(shù)據(jù)的變革性影響(復(fù)制鏈接,了解最新合作:https://bizwebcast.intel.cn/eventStart.aspx?eid=257)。
加速萬物云化 強(qiáng)化IT基石
隨著企業(yè)業(yè)務(wù)的不斷發(fā)展,未來各行各業(yè)都將面臨云化的趨勢。從數(shù)據(jù)的類型來看,一般主要被分為三類,結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)。
結(jié)構(gòu)化數(shù)據(jù)是一種整齊的格式化數(shù)據(jù),它通常能夠用統(tǒng)一的結(jié)構(gòu)來表達(dá)實(shí)現(xiàn)的數(shù)據(jù),傳統(tǒng)行業(yè)擁有大量結(jié)構(gòu)化數(shù)據(jù);與之相對,非結(jié)構(gòu)化數(shù)據(jù)不易被組織或統(tǒng)一化,是一種字段可變的數(shù)據(jù)。數(shù)字時代下,網(wǎng)絡(luò)大數(shù)據(jù)多以非結(jié)構(gòu)化數(shù)據(jù)形式存在,在企業(yè)發(fā)展產(chǎn)生的數(shù)據(jù)中,有80%都屬于非結(jié)構(gòu)化數(shù)據(jù),且每年增長迅速;半結(jié)構(gòu)化數(shù)據(jù)是介于完全結(jié)構(gòu)化數(shù)據(jù)與完全無結(jié)構(gòu)化數(shù)據(jù)之間的數(shù)據(jù),它具備一定的結(jié)構(gòu)性,但變化較大,如企業(yè)中的各類日志信息,就屬于半結(jié)構(gòu)化數(shù)據(jù)。
數(shù)據(jù)類型的不同,自然需要選擇不同類型的數(shù)據(jù)庫來進(jìn)行存儲。雖然非結(jié)構(gòu)化數(shù)據(jù)是目前數(shù)字時代的主要形式,但在各個行業(yè)長期業(yè)務(wù)開展過程中,結(jié)構(gòu)化數(shù)據(jù)大量積累。且新的業(yè)務(wù)發(fā)展同樣會產(chǎn)生數(shù)據(jù)存儲環(huán)境的變化,因此數(shù)據(jù)庫的變革接踵而來。
也是在這樣的趨勢下,英特爾推出第三代至強(qiáng)®可擴(kuò)展處理器,全新的數(shù)據(jù)中心平臺可以為本地和分布式多云環(huán)境中運(yùn)行的現(xiàn)代工作負(fù)載進(jìn)行優(yōu)化,再加上與英特爾®傲騰™持久內(nèi)存與存儲產(chǎn)品組合、以太網(wǎng)適配器等方案搭配,能夠?yàn)閿?shù)據(jù)庫帶來更強(qiáng)的性能表現(xiàn)。
值得一提的是,英特爾®傲騰™持久內(nèi)存具有兩種運(yùn)行模式——內(nèi)存模式和App Direct模式,可以通過多種方式提高數(shù)據(jù)庫性能。英特爾®傲騰™持久內(nèi)存的內(nèi)存模式可用于降低緩存層成本,而App Direct 模式則是提供高速大批量數(shù)據(jù)存儲能力,通過優(yōu)化數(shù)據(jù)存儲,從而提高數(shù)據(jù)庫中的讀寫速度。實(shí)際產(chǎn)品應(yīng)用中,搭配傲騰固態(tài)盤P5800X/P5801X,能夠提升單服務(wù)器的可擴(kuò)展性,實(shí)現(xiàn)數(shù)據(jù)庫加速、寫入緩存、高性能分層等功能,讓用戶在部署數(shù)據(jù)集時更加便利。
未來企業(yè)發(fā)展存算分離,結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等多種結(jié)構(gòu)數(shù)據(jù)并存。南大通用GBase 8a借助英特爾在核心性能、硬件組合及軟件優(yōu)化方面的支持,將傳統(tǒng)業(yè)務(wù)結(jié)構(gòu)化數(shù)據(jù)存儲革新,并不斷提升數(shù)據(jù)庫性能,為企業(yè)用戶的數(shù)字化轉(zhuǎn)型打造堅實(shí)基石。隨著大數(shù)據(jù)行業(yè)的演進(jìn),全新的數(shù)據(jù)庫解決方案將會應(yīng)用到越來越多的行業(yè),推動數(shù)字經(jīng)濟(jì)的建設(shè)。
點(diǎn)擊下方鏈接,獲取解決方案白皮書!
南大通用利用第三代英特爾® 至強(qiáng)® 可擴(kuò)展處理器顯著提升其 GBase 8a 性能 (intel.cn)