對象存儲:存儲市場黑馬及未來市場發展的深度解讀
IDC數據顯示:SDS蠶食傳統存儲,對象存儲蠶食文件系統市場
近期IDC發布了2020年SDS中國區市場報告,我們可以從統計數據分析出存儲市場正在發生的格局變化。
從SDS的整體數據來看,SDS的市場份額占比相比2019年增長了5.4%,是增長最快的一個市場,而較熱門的HCI也僅增長了2%。而傳統存儲則從2019年的占比65%下降到57.7%,下降了超過7個百分點。從這個數據可以看出,SDS和HCI在不斷地蠶食傳統存儲市場。

圖1 2020/2019中國存儲市場概況
將SDS的三個產品分類:塊、文件、對象的市場份額拆開來看,文件依然占比最大,但份額從2019年的59.9%下降到了48.5%。

圖2 2019-2020中國SDS市場概況
2020年的塊存儲增長較快,IDC給出的原因是中移動大規模集采造成的影響,屬于短期波動。就整體市場空間而言,2020年對象存儲增長了63.1%,文件存儲增長了22.7%。根據IDC的預測,未來5年平均增長最快的還是對象存儲。

圖3 2020-2025中國SDS市場空間預測
為什么對象存儲會替代文件系統
對象存儲和文件系統都以非結構化數據存儲為主要目標市場,但是對象存儲在技術上存在以下先天優勢,能夠更好地滿足應用需求:
1.對象存儲采用哈希索引定位和讀取數據塊,具有更豐富的元數據管理手段,使得對象存儲在海量小文件場景下擁有遠比文件存儲強大的性能優勢;
2.物理世界中的數據往往有多重屬性,對象存儲可以對數據附加多維度的標簽來描述這些屬性,因此在檢索和管理數據時,對象存儲比只能基于文件名檢索的文件系統更高效;
3.對象存儲RESTful風格的應用接口,大大簡化了存儲協議棧,縮短了應用和存儲之間的距離,而存儲系統的智能化使得應用可以將對數據的計算處理卸載到存儲系統進行,在很多場景下,這種計算模式可以大大降低存儲與計算之間的交互次數或吞吐量,簡化應用的復雜度和業務流程,極大提升應用的關鍵性能指標。
對象存儲逐漸替代文件系統的主要應用場景
從應用場景看,對象存儲正在替代傳統文件存儲的領域。我們按照Gartner的文件系統傳統應用場景來分析對象存儲替代文件的主要原因。

表1 傳統文件存儲被對象存儲替代的應用場景
新興應用場景是未來對象存儲的增長點
我們還要看到,除了傳統文件存儲的市場,對象存儲在新興場景的增量是一個更大的市場。
一、AI視覺場景
隨著AI技術在各行各業應用的深化,公安、交通等行業開始利用AI改進視頻監控技術,將視頻中的關鍵圖片抽取出來,進行結構化分析后保存圖片和相關結構化數據,從而快速檢索符合特征的人/車圖片,提升檢索效率,同時也能夠提升存儲的數據價值。視頻監控場景原來大量采用視頻監控存儲,采用AI技術后,存儲的是圖片和圖片的結構化數據,傳統視頻監控存儲無法滿足海量圖片存儲的性能需求。這部分需求會逐步被對象存儲取代,而且對象存儲可以存儲圖片的標簽,支持基于標簽的檢索,長期來講會提升對象存儲的市場占有率。
在制造業,智能制造利用AI技術替代人工進行產品質檢也會產生海量的圖片,杉巖數據的一些制造業用戶每天產生近100TB/數千萬文件的圖片數據,對快速檢索有很強的需求,比如以生產線、工序號、時間、良/次品、物料ID等為檢索手段。大量的圖片使傳統存儲面臨很大挑戰,尤其是在圖片的檢索中,文件系統只能基于文件名進行檢索,檢索效率非常低下,在這種新場景下用戶使用非常不便。采用對象存儲后無論在性能,還是檢索的多維度、檢索效率上都非常匹配用戶需求,這也是新場景帶來的對象存儲機會點。
二、IPFS存儲場景
IPFS場景對存儲的容量規模需求非常大,由于規模大,對于存儲的性價比要求也比較高。在做時空證明時,IPFS系統需要進行大量的隨機讀,并將讀取的內容組裝起來,業務系統不斷地向存儲集群進行大量讀請求,請求數量對網絡形成非常大的壓力。杉巖數據的IPFS存儲解決方案在計算集群中整合多次讀請求,由存儲集群一次性處理,并將大量的請求分散到所有磁盤,然后組裝讀取的數據,該方案可以保證高性能的大規模數據存儲。目前在IPFS存儲場景,大規模的礦商基本采用對象存儲方案,這會在中期大幅度提升對象存儲的市場空間。
三、大數據存算分離,替代HDFS存儲
大數據集群由于歷史原因一直采用存算融合架構,底層采用HDFS分布式存儲。受云原生架構影響,Hadoop/Spark計算層為了適應彈性,采用云/容器化的趨勢增加,而HDFS云化/容器化難度較大,所以存算分離架構的需求越來越多。采用存算分離架構可以帶來如下好處:
·存儲和計算獨立擴展,計算能力不夠單獨擴展計算集群,存儲空間不足單獨擴展存儲容量,可以降低大數據平臺的建設成本。
·計算彈性使業務可以根據需求收縮和擴展,避免長時間占用大量物理資源。
·Hadoop/Spark/Impala可以獨立升級,無需考慮HDFS數據格式兼容無法升級問題,快速應用計算層組件的最新特性。
·對象存儲的商用產品,在穩定性、可維護性、升級兼容性方面大大優于開源的HDFS,可以降低存儲維護難度。
目前最優的替代方案就是采用對象存儲替換HDFS存儲,目前該方案已經在公有云上得到驗證,企業私有云用戶正在逐步替換。
云原生應用私有化部署,替代傳統NAS
云原生應用如阿里釘釘,早期為中小型企業提供SaaS服務,積累了大量中小型用戶,這些新興SaaS軟件供應商基本都是基于云/容器,以及對象存儲來開發應用。隨著產品的口碑不斷提升,中大型企業認識到這些新的應用服務非常方便,但部署形態上希望采用私有云以保證信息安全和合規。隨著這些云原生應用持續拓展到中大型用戶機房,會倒逼基礎架構向容器/對象的架構轉型,而且采用跟公有云架構普遍采用的對象存儲,也更加容易幫助企業構建混合云基礎架構,也會是未來對象存儲持續增長的動力。

表2 新興場景文件/對象存儲優劣對比
小結
1.文件存儲的傳統領域:對象存儲在非結構化數據歸檔、文件共享、備份等場景會不斷蠶食傳統文件存儲市場空間。
2.新場景領域如AI視覺場景、IPFS場景、大數據場景、云原生應用私有化部署場景,對象存儲會成為主流。
3.建議CIO盡早構建對象存儲基礎架構,滿足AI應用、數據湖,以及云原生應用下云對基礎架構升級換代的需求。

圖4 對象存儲和文件存儲的適用場景