中國信通院云大所主任魏凱解讀金融大數據
“所有大數據應用的探索和技術的研發,其實是圍繞著如何分析挖掘海量信息中的信息和價值,必須把大數據作為一種大資產來看待。”
在日前舉行的2018中國金融科技產業峰會上,中國信息通信研究院大數據研究部主任、可信區塊鏈聯盟(籌)秘書長、國際電聯分布式賬本焦點組副主席魏凱圍繞金融大數據和區塊鏈標準與評測,從三大方面解讀大數據之“大”的內涵。
中國信息通信研究院大數據研究部主任 魏凱
魏凱表示:大數據要解決三個問題——大分析、大事務與大資產,才能帶來大的價值,這是對大數據含義的理解,也是信通院近年在金融科技方面、大數據方面相關工作的代表。
大分析
“圍繞金融行業,大分析的發展,可以劃分成幾個階段。”魏凱介紹。
2000年以前,銀行業是最早引入數據倉庫、數據分析的行業之一。銀行業傳統上是數據密集型行業。有相關報告顯示,每單位產值里,金融業的數據投資是最多的。在2000年之前,金融業就開始使用數據挖掘的技術,主要依靠的是專用的數據庫、專用的硬件,應用方面主要是經營分析報表等較為簡單。
隨后,金融業的大數據應用發生了顛覆性的轉變。以互聯網崛起為標志,互聯網公司在軟件上的創新,用價格低廉的計算資源來做大分析,隨就又進入到金融業,進入到更多傳統行業如電信、公安、醫療、交通等等。
從2010年起,大數據進一步在社會各方面廣泛滲透,并產生了很強的技術基礎,如Hadoop、Spark等等技術都成為支撐大數據發展非常堅強的基礎。

回顧大分析所產生的重要變化,魏凱提到,首先,在互聯網業務的推動下,不得不做的一件事就是分析系統的分布式轉型,必須采用分布式架構,既有成本上的考慮,更重要的是性能和擴展性的需求,因此分析系統、數據挖掘系統首先進行分布式的遷移。其次,新的理念從互聯網行業持續向金融業拓展,在銀行或其他金融機構建設大數據分析系統時,基于分布式成為了普遍選擇。其中的原因在于大分析的技術近年來突飛猛進的發展,同時互聯網創造了開源的福利。
對于大分析技術的演進,魏凱主任從軟件、硬件層次的演進給出了一張全面的圖解。

圍繞大分析這一主題,中國信通院近年來持續進行相關的標準和評測的工作,從大數據產品、服務兩個方面,在基礎產品、數據資產管理、數據分析應用的多個維度,展開相關標準研究與測試,目前已經有50多款相關產品參與了大數據平臺的評測。


大資產
“第二個大是資產,如果數據是垃圾,我們的分析結果肯定靠不住,這是大家所有從業者的共識。”魏凱表示。
幾年前,傳統的金融機構一直專注于投入大量資金去請咨詢公司做數據治理的項目。魏凱指出,幾年前,大家認為,數據需要管理,需要去養數據,不是說系統、平臺建好以后應用就能運行很順暢,數據還需要去管理、治理、運維。近年來,數據管理也發生了很大的變化,帶來了概念上的升級,主要的變化在于:
數據應用對象已經發生了很大變化。原來的數據管理都是面向一些報表的等任務,所以數據的應用對象主要在于少數人?,F在,很多金融機構的數據應用對象是基層員工、柜員,甚至是最終用戶。數據管理的手段也發生很大變化,以前數據的管理靠人工,現在越來越多地依靠人工智能等手段進行語義字段的匹配。數據管理的職能發生了重要變化。以前金融機構的數據管理部門和業務部門涇渭分明。在信息科技下,數據和業務越來越分不開,因此數據管理職能也發生了重要變化。數據架構發生很大變化,從經典的數據倉庫類型的架構,正在向數據湖的方向發展,數據不需要去清洗、轉換、加載,而是數據線加載,需要使用的時候再轉換,這意味著架構上的變化。數據種類發生變化。原有的數據主要是結構化的數據為主,現在非結構化數據越來越多。

“這五個層次的變化導致了數據管理需要向下一代演進。”魏凱表示。“最重要的,數據要成為資產。”

因此,中國信通院牽頭成立了數據資產管理工作組,與業界在這方面領先的企業共同歸納總結數據資產管理的方法論,希望能夠給大家提供參考。在大數據的時代下,要把大數據資產管好,面臨的挑戰巨大。未來,大數據資產管理面臨的是大集中、全鏈接的趨勢,是支撐業務運營深度融合的趨勢,同時將有更多新的技術可以支撐數據資產管理的發展。

大事務
魏凱主任從雙十一的電商年度大戰展開對于大事務的解讀:每年雙十一,阿里、京東等電商平臺的交易峰值節節攀高,基本上保持在每年都能夠翻一番的節奏。隨著網銀、互聯網金融的發展,傳統金融機構這幾年交易處理量也在飛速增長,傳統的依賴主機中心化數據庫難以應對增長如此迅猛的事物處理流量。
于是,金融機構,特別是各大銀行都開始了“核心下移”的工作,也就是用分布式數據庫承載越來越多的交易,為核心系統“減負”,并逐步向全開放的分布式架構演進。我們都知道,任何一家金融機構,用戶交易數據的處理系統,是企業的生命線,是核心系統。但是,事物數據處理的分布式處理,實現起來難度很大,是硬骨頭,目前還沒有非常成熟的方案。為了解決這個痛點,信通院也正在與多家銀行和數據庫廠商聯合攻關。

總的來看,當前無論是金融業還是IT業,都正在經歷臨翻天覆地的變化,技術需求方與技術供給方都需要攜手,共同解決金融大數據應用面臨的挑戰。

“我們信通院希望能夠扮演的角色,就是成為大數據技術發展的橋梁,鏈接各個方面,成為一個平臺,推動術變得更好用,讓技術與金融行業融合的門檻不斷降低,讓科技更好的服務金融業務創新。”魏凱表示。
為進一步落實國家《促進大數據發展行動綱要》和《大數據產業發展規劃(2016-2020年)》,支撐國家大數據戰略落地,推動大數據產業交流與合作,展示我國大數據產業***發展成果,由中國信息通信研究院與數據中心聯盟大數據發展促進委員會共同主辦的“2018大數據產業峰會”將于2018年4月18-19日在北京國家會議中心隆重開幕。