上交所大數據平臺建設 華為FusionInsight解決方案功不可沒
隨著信息化的快速發展,金融機構產生的各類數據近年來呈幾何級數增長,形成了海量的數據。特別是電子服務渠道所產生的非結構化和半結構化數據,增長更為迅速。基于這些數據的金融業務創新,已經成為亟需解決的主要任務之一。
證券交易所是金融行業不可或缺的機構之一,上海證券交易所成立于1990年11月26日,同年12月19日開業,受中國證監會監督和管理。上海證券交易所致力于創造透明、開放、安全、高效的市場環境,其主要職能包括:提供證券交易的場所、設施和服務;制定和修改證券交易所的業務規則;審核、安排證券上市交易等等,經過28年的快速成長,上海證券交易所已發展成為擁有股票、債券、基金、衍生品四大類證券交易品種、市場結構較為完整的證券交易所;擁有可支撐上海證券市場高效穩健運行的交易系統及基礎通信設施;擁有可確保上海證券市場規范有序運作、效能顯著的自律監管體系。依托這些優勢,上海證券市場的規模和投資者群體也在迅速壯大。
截至2017年末,滬市上市公司家數達1396家,總市值33.1萬億元;2017年全年股票累計成交金額51.1萬億元,日均成交2095億元。當前,上交所TD數據倉庫平臺容量性能不足,且無法擴容,難以滿足上交所業務規模擴展的需求,也無法承載新應用的部署上線,為此,上交所計劃打造全新的大數據平臺,上交所規劃建設大數據平臺,逐步遷移替換TD數據倉庫平臺的數據和應用。
為此,上交所與華為展開合作,采用華為大數據平臺建設大數據存儲、查詢、分析的統一平臺,快速構建海量數據信息處理系統,通過對巨量信息數據實時與非實時的分析挖掘,發現全新價值點和商業價值,整合內外部風險數據,實時預警監控,行內數據實現全生命周期可用,為業務創新創造堅實基礎。
此次與上交所的合作,華為為上交所提供基于FusionInsight解決方案,幫助上交所打造全新的高效穩定的大數據平臺,具體包括以下幾個方面:
1.上交所采用華為FusionInsight解決方案,華為給上交所提供了基于FusionInsight解決方案構建大數據平臺,主要部署了Elk、HBase、Flume、Kafka、Flink等組件,為上交所大數據平臺提供數據倉庫、明細查詢、日志采集、消息訂閱發布、實時處理等功能,分別承載TD數據倉庫遷移、運營監測、即席查詢等應用服務。
2.華為FusionInsight解決方案為上交所提供了統一的大數據平臺,同時支撐數據倉庫和實時流處理、實時檢索等,提在升了大數據平臺擴展能力的同時,也降低了整體建設成本。未來華為有望與上交所一同建設主備生產環境,承接所有核心應用。
3.基于華為FusionInsight大數據平臺,采用融合架構建設的上交所大數據平臺,包含實時處理平臺功能和離線處理平臺功能,同時支撐實時預警、運營監測等實時功能,以及Portal服務、Ad-Hoc查詢、數據服務等批量應用。不僅如此,上交所還借助華為FusionInsight大數據平臺的Elk分布式數據倉庫,實現了TD數據倉庫平臺的遷移。
在華為FusionInsight解決方案的幫助下,上交所成為打造出高效穩定安全可靠的大數據平臺,為未來數據業務的不斷發展提供了堅實的技術支撐。正如上交所一位項目負責人所說:“在本次大數據平臺建設中,上交所之所以選擇與華為合作,除了華為FusionInsight解決方案具有高可靠性之外,華為還能夠提供快速響應客戶需求的研發能力,以及快捷的售后服務,這就為上交所建成后的大數據平臺的運行解除了后顧之憂,也成為我們值得信賴的IT供應商。"
未來,華為也將推動大數據深入應用于金融業務場景,金融業對大數據應用正在逐漸深入,傳統的數據分析的方法已無法滿足金融業務的要求,必須采用更先進的大數據技術對交易系統和管理系統日益增加的海量數據(包括結構化、非結構化、半結構化數據,如交易記錄、日志流水、客戶信息、管理信息等)進行存儲、分析、挖掘、應用。
為此,已經將大數據看做是ICT戰略重要支柱的華為公司,正積極推動大數據在金融科技領域的研發和應用。