元核云CEO:金融企業未來存儲的必經之路
大數據、云計算、人工智能在今天看來早已不是什么新鮮事物,這些領域的快速發展推動著金融行業的不斷創新,比如在移動支付、互聯網銷售、生物識別認證、智能安全監測、大數據分析授信、遠程開戶等業務方面全面推進,同時信息化系統中已不單單只是存儲著結構化的信息數據,比如金融行業各自的APP、多媒體終端、電話銷售、銷售行為可回溯的雙錄等方面都存在著大量的音頻、視頻、圖片、地理位置等非結構化的數據存儲需求。
業內專家和權威第三方調查機構普遍認為,海量數據時代已經到來。各類復雜數據中,85%以上是屬于廣泛用于信息網絡、物聯網、電子商務等場景中的非結構化數據。由于非結構化數據的特點,其數據量遠遠大于結構化的文件,金融行業已經面臨著數據存儲容量的大規模增長。許多企業用戶已經意識到軟件定義分布式存儲技術的重要性,基于我們在存儲領域多年的實施和應用經驗,今天有幸和大家分享我積累的一些經驗和見解。
元核云CEO 王凌云
元核云作為一家提供企業級軟件定義存儲的供應商,從這幾年合作的客戶(單一客戶存儲數量超40PB)以及實際案例中歸納出時下海量數據存儲情況的幾個特征:
1、數據體量巨大:簡單來講就是數據存儲單位已經從TB級發展為PB級;
2、數據類型繁多:比如用戶行為記錄、影像圖片、音頻、視頻、地理位置、文檔、日志等等;
3、商業價值高:數據收集后,進行有效統計分析帶來的商業價值極高,數據已經成為企業的核心競爭資產;
4、處理速度快:對于海量的數據,金融企業往往要求處理數據的速度必須得快,更快挖掘數據價值才可以創造更好的企業價值。
面對以上海量數據存儲特征,傳統的信息化存儲方式也面臨著巨大的挑戰:
1、高可靠性:數據對于任何一個行業來說都是企業的核心資產,對于金融行業來說更是重中之重,一切的業務都建立在數據的基礎之上。當數據最終存儲于硬件介質中,硬件隨著使用的時長增加,將面臨著設備故障、電器老化、自然損耗等問題。海量數據背景下,存在數量眾多的存儲硬件設備,當設備發生故障時,往往可能帶來數據的丟失或者需要長時間的數據恢復。這樣會給金融企業的業務開展帶來無法承擔的損失。
2、靈活可控性:從我們與金融公司合作的經驗來講,隨著數據的快速增長,實現快速擴容也成為滿足許多企業進一步發展的必然條件。虛擬化技術的發展使得計算資源得以池化,使得業務系統所需要的計算資源能夠按需分配,彈性擴展。同樣,企業也需要建立存儲的資源池,并能夠按需分配和動態增加存儲資源,滿足業務發展的需要。
3、高并發,低延遲的數據訪問方式:在海量數據的應用場景下,對于數據的使用方式,企業提出了更高的要求。面對著高密度數據運算、互聯網用戶的高并發訪問、實時數據分析、機器學習等多種應用場景,數據存儲系統必須要滿足更高并發的數據訪問,同時需要保證較低的響應時效。簡單來說,即是需要更為高效的性能表現。而傳統的NAS、SAN存儲已經有30多年的歷史,在其設計之初并非針對如此龐大數據量場景,因此會出現諸如文件索引緩存、服務器機頭等技術設計上的先天瓶頸。在海量數據存儲場景下,性能表現也會急劇下降。
4、數據使用方式變化:大規模海量數據應用場景下,隨著數據的應用方式多樣化,需要提供更細粒度的數據管理和使用方式,例如在近年來普遍提到的存儲即服務的思路,更推崇將數據存儲能力以服務的方式進行暴露,比如:對象存儲服務方式。這一方式能有效地降低數據使用方對存儲系統的深度耦合性。
而傳統存儲仍然普遍通過塊設備或文件系統的方式提供存儲能力,這就大大的限制了數據存儲的使用場景。同時由于塊設備和文件系統需要大量的初始化動作和對于客戶端的要求,也增加了長期數據運維的成本。
相對于傳統存儲,新一代的軟件定義的分布式存儲理念已被提出多年。與我們合作的企業都遇到了數據量的大規模增長情況,而分布式存儲技術正好能符合這些企業對于當下和未來大規模數據存儲的需求。
縱觀國際國內技術發展趨勢,軟件定義的分布式存儲技術已經成為越來越多金融企業IT管理者的選擇。