金山云混合云存儲,構建數據驅動型組織的核心競爭力
原創(chuàng)云計算驅動的數字化浪潮席卷了所有行業(yè)。計算、網絡、存儲被稱為云基礎設施的三大件,存儲又是其中變化最快的一項,這是因為隨著數據驅動型組織戰(zhàn)略的普及,云計算、移動互聯(lián)網、物聯(lián)網、大數據、人工智能等新技術在各個領域深化應用,全球數據量呈爆炸式增長態(tài)勢。IDC的研究報告顯示,全球數據圈(以數據圈代表每年被創(chuàng)建、采集或是復制的數據集合)將從2018年的32ZB增至2025年的175ZB。全球數據量爆炸增長,為數據存儲市場帶來巨大增量。在這樣的背景下,現(xiàn)有的數據存儲模式已經難以滿足數據存儲要求,數據已經由原來存儲在專有的集中式存儲設備上而向云存儲(公有云、私有云、混合云)上轉型,以降低固定資產支出和運維管理費用,以激活數據來驅動組織的業(yè)務創(chuàng)新,注入持續(xù)發(fā)展的源動力。
其中,混合云存儲是一種將公有云存儲服務和私有云存儲資源互聯(lián)互通的技術實現(xiàn),促進云上和云下的數據雙向互通。混合云存儲越來越受歡迎,充分發(fā)揮公有云的超大規(guī)模、彈性擴展、隨需而用和低成本優(yōu)勢,以及私有云的資源物理隔離和安全合規(guī)的特點,業(yè)已成為數據高效存儲的發(fā)展方向。
技術立業(yè)的金山云存儲產品線
早在2007年,金山就開始籌建金山實驗室,進行云存儲技術領域的研究。2012年,金山將云存儲業(yè)務進行拆分,成立金山云公司。同年,金山云正式在國內推出在線云存儲服務KS3,為用戶提供優(yōu)質的互聯(lián)網對象存儲服務。此后,金山云存儲產品的不斷迭代演進、推陳出新,陸續(xù)推出功能豐富的各種存儲產品及服務。金山云主要云存儲產品包括:對象存儲(KS3)、彈性塊存儲(EBS)、文件存儲(KFS)、歸檔存儲(KArchive)及混合云存儲產品系列(KingStorage)。
金山云的對象存儲KS3,已經在線穩(wěn)定運行超過十年,云上規(guī)模超EB級,且每年都保持著高速增長,是業(yè)內技術先進的超大規(guī)模公有云分布式存儲服務。在私有化部署的場景下金山云提供KingStorage混合云存儲產品,繼承了公有云存儲的架構與功能優(yōu)勢,并充分考慮并實現(xiàn)私有化場景下客戶業(yè)務對存儲的個性化需求。依托于金山云混合云存儲優(yōu)秀的架構設計,保障了業(yè)務能力的穩(wěn)定輸出,具備大規(guī)模的數據存儲與處理能力,聚焦于云原生應用、大數據存算分離、自動駕駛、機器學習、視頻云等業(yè)務場景。在IDC發(fā)布的《中國軟件定義存儲(SDS)2022年第一季度》報告顯示,金山云KingStorage OBS產品在SDS對象存儲市場細分領域,市場占有率位列前三,已躋身于國內行業(yè)頭部。
以云為基的云原生存儲
金山云KingStorage混合云存儲產品是基于云原生的設計理念,定位于混合云、專有云、云化的企業(yè)數據中心和邊緣計算節(jié)點等場景,旨在為客戶提供彈性伸縮、軟硬解耦、資源隔離、隨需而用、敏捷高效、自動化運維的池化存儲資源。其主要特點有如下:
應云而生 — 源自云:產品研發(fā)源于云用戶對數據存儲的多樣化需求,解決數據存儲在公有云和私有云中流轉的問題。
以云為基 — 興于云:產品基于公有云相同的存儲技術棧,并實現(xiàn)代碼共享,基于應用場景差異提升企業(yè)級存儲的功能特性。
融云致遠 — 贏未來:面向云原生應用對海量、高性能存儲的需求,強化與各類云原生平臺的平滑對接,助力云原生生態(tài)的繁榮。
KingStorage云原生的特質有利于平滑對接多云平臺和滿足云原生類應用的存儲需求,實現(xiàn)數據在多樣化應用場景之間按需流轉,確保云上云下一致的存儲服務體驗,加速業(yè)務創(chuàng)新和數字化轉型。
聚焦新興業(yè)務領域下的存儲痛點
在當今新業(yè)務形態(tài)下,客戶對于存儲的核心需求主要有三點:第一是新業(yè)務場景對存儲的高性能需求,比如在自動駕駛、機器學習、大數據分析等場景,高算力下的海量數據存儲性能日益成為制約業(yè)務發(fā)展的瓶頸。第二是業(yè)務數據的超大規(guī)模已是常態(tài),而現(xiàn)有的存儲模式顯然難以滿足,比如基于開源存儲軟件的方案,會遇到節(jié)點規(guī)模擴展后性能低遠于預期、擴展后難以符合設計預期、版本更新快且難于在線升級、運維復雜等各類意想不到的問題。最后是要實現(xiàn)項目總體上的降本增效,業(yè)務數據要能夠做到線上線下按需流動,充分享受云上計算和存儲資源的廉價。以自動駕駛業(yè)務的需求為例,典型的以數據驅動業(yè)務量變的新產業(yè),L4級自動駕駛需要大約300PB~500PB的路采數據,但是更多的場景數據能提升模型的精準度。此外,業(yè)務所需的高精地圖和測繪數據是涉密的,按照保密要求必須保持在合規(guī)的私有化環(huán)境中。而機器學習可按需按時采用公有云上大量的GPU服務器資源,同時需要云上和云下的數據互通來驅動訓練任務的開展。
大數據存算分離應用場景實踐
隨著大數據應用被越來越廣泛的應用到互聯(lián)網企業(yè)、金融、運營商等行業(yè),并逐步成為業(yè)務發(fā)展的主要推動力。這就帶來用戶數據量的指數級增長,數據的規(guī)模已經突破之前的預期,這不僅帶來高額的成本,同時原有的數據存儲技術架構也不能有效地支撐大數據業(yè)務,進而影響到業(yè)務的創(chuàng)新。為了解決新業(yè)務形態(tài)下存儲模式面臨的挑戰(zhàn),越來越多的客戶選擇了存算分離的方式。
存算分離需要解決用戶面臨的三大難題:業(yè)務運行慢、系統(tǒng)維護難、存儲方案貴。首先,當前采用的HDFS存儲的設計存在內存占用高、使用粗粒度的全局鎖、以及對小文件的處理效率低、數據處理的過程出現(xiàn)延時高的問題。其次,HDFS存儲僅能支持數億級別的文件數,超過之后一方面需要做深度優(yōu)化提升,另一方面是采用新的版本來提升對文件數的支持,而新版本的穩(wěn)定性通常比較差,帶來系統(tǒng)級的運維難題。最后是HDFS的存算一體和三副本機制,使得存儲空間的利用率低于33%,且擴容時必須計算節(jié)點和存儲節(jié)點放在一起,導致數據規(guī)模越大存儲方案需要的資金投入就越高。
金山云混合云存算分離解決方案,提供三種靈活的大數據對接模式:一是基于具備緩存加速能力的大數據存儲網關組件,二是采用定制優(yōu)化的Hadoop sdk對象存儲插件,三是使用標準的s3a協(xié)議,滿足不同應用場景下大數據生態(tài)軟件對接存儲的性能和功能需求。其中大數據存儲網關組件,不僅兼容HDFS協(xié)議,還支持全局緩存和統(tǒng)一命名空間,提供彈性伸縮的數據存儲能力。對于計算類應用,可以提供很好的數據本地化或加速數據I/0性能;對于后端的持久化存儲系統(tǒng),可通過統(tǒng)一命名空間功能融合多套異構的存儲系統(tǒng),且對前端計算框架的使用做到透明。
通過在頭部商業(yè)銀行的交付實踐表明,金山云混合云存儲分離解決方案在性能、兼容性、成本、以及規(guī)模化擴展能力等方面得到認可,并在行內廣泛推廣,促進大數據類業(yè)務的創(chuàng)新和引領行業(yè)的技術發(fā)展趨勢。
機器學習應用場景實踐
通過深入分析機器學習場景下各流程環(huán)節(jié)對存儲的需求點可以發(fā)現(xiàn),用戶對存儲的需求有如下四點。首先是性能,即是否能以最快速度和最優(yōu)成本滿足自動駕駛不同流程環(huán)節(jié)的數據高速讀寫的要求。第二是擴展性,系統(tǒng)整體擴展能力和擴展的便捷性,決定了系統(tǒng)是否支撐未來2~3年的業(yè)務增長對存儲系統(tǒng)的容量需求。第三是云原生的需求,機器學習的場景下,一定會基于云原生平臺來構建業(yè)務運行體系,這就需要存儲系統(tǒng)提供CSI容器存儲接口(CSI:Container Storage Interface)插件,并且具備CSI存儲插件的高可用和故障自愈等能力,在確保數據安全性的同時,全面提升存儲服務的可用性。第四是成本因素,希望降低長期存儲運營成本,實現(xiàn)冷熱數據的分離,冷數據的存儲成本能進一步降低,優(yōu)化數據生命周期過程的每TB成本。
結合用戶的需求以及對存儲系統(tǒng)的長期實踐,金山云針對機器學習場景下推出三種混合云存儲解決方案,涵蓋文件存儲、對象存儲以及相應的高性能存儲網關產品。一是為中小型客戶提供一體化文件存儲系統(tǒng),完全具備支撐機器學習的功能特性和性能,并具備良好的性價比。二是針對性能有極高性能要求的用戶,金山云提供基于全閃存的文件存儲解決方案,性能上支持數百GB的大吞吐量和亞毫秒級的低延時。三是面向泛互和公共服務領域的用戶,則推薦高性能存儲網關+大容量對象存儲的解決方案,構建起存儲資源池,實現(xiàn)機器學習、大數據分析、云原生應用數據的統(tǒng)一化存儲。
在金山云的項目實踐中,機器學習的數據量已超過百PB以上,主要是超大規(guī)模的視頻圖片類數據,并且每年保持著高速的增長。同時,該用戶內部有很多關聯(lián)業(yè)務系統(tǒng),對于在線日志保存、大數據分析、數據歸檔等都有存儲需求,更重要的是機器學習已成為驅動主營業(yè)務的關鍵要素。金山云憑借本地對象存儲資源池加上高性能的存儲網關,提供了機器學習的整套存儲解決方案,解決存儲的性能瓶頸,降低運營成本,幫助用戶實現(xiàn)了新業(yè)務的快速上線,并驅動核心業(yè)務的不斷創(chuàng)新。
讓混合云存儲的特質驅動業(yè)務創(chuàng)新
為構建數據驅動型組織的核心競爭力,各行各業(yè)創(chuàng)新性地對業(yè)務進行優(yōu)化和改造,提升業(yè)務敏捷性和服務化能力,同時選擇適合自身業(yè)務的數據存儲方式,來釋放海量數據的潛在價值,提升數據在業(yè)務間的流轉能力,并實現(xiàn)降本增效的目標。作為中國云服務市場的領導者之一,金山云在混合云存儲產品與解決方案已得到金融、運營商、泛互企業(yè)、公共服務等用戶端的正式商用和服務認可,將持續(xù)幫助用戶解決在業(yè)務轉型過程中面臨的各種數據存儲挑戰(zhàn),充分釋放數據價值,驅動業(yè)務的高速增長。
金山云云存儲產品負責人表示:混合云存儲作為金山云存儲業(yè)務重點的發(fā)展方向,聚焦在云原生應用、大數據分析、自動駕駛、機器視覺等新型應用場景。依托于公司的云存儲技術棧和云上存儲服務的業(yè)務實踐,結合企業(yè)級用戶在業(yè)務對接、安全合規(guī)、極簡運維等方面的需求,金山云將不斷完善混合云存儲產品線,豐富功能特性,促進云與端之間數據的互相流轉,讓混合云存儲的特質惠及云上云下的用戶。
展望未來,金山云混合云存儲一方面將持續(xù)不斷地構建高性能、高彈性、易運維的產品核心競爭力,另一方面將與頭部用戶及行業(yè)ISV攜手共創(chuàng),率先在業(yè)內推出創(chuàng)新性的云原生存儲解決方案,攜手生態(tài)合作伙伴共同推進混合云存儲市場規(guī)模的高速發(fā)展。