信息爆炸時代的超級數字圖書館-分布式對象存儲
數據產生與信息爆炸的挑戰
為了更清晰的認識我們所生存的環境,提高相互之間更溝通的效率,人們收集和創造了大量的數據,有些是對物理世界的客觀描述,如原子和分子的組成,或是DNA螺旋的結構;也包括煙波浩渺的宇宙中的星系和星云;亦或是人類對自身歷史的記錄;還有一些數據被用于人們相互溝通,如Facebook上每天新增數十億條內容,或數每天被發送的數千億封郵件。
據IDC統計報告預計,2009年到2020年,全球信息總量增長44倍以上,將達到35.2ZB(1ZB=1,000,000PB),如此大規模的數據給存儲系統帶來了巨大的挑戰,人類將如何應對咆哮而來的數據洪流?
存儲方案的演進
在人腦數據處理時代,數據處理由人類大腦完成,由于大腦存儲容量相對比較有限,仍然有大量數據被存儲在圖書館。當有需要的時候,人們便會到圖書館獲取更多的數據。
20世紀電子與信息技術迅速發展,機器計算迅速普及, 馮·諾依曼提出了存儲程序邏輯架構,即現有的計算機都遵循的“馮 諾依曼體系架構”。但馮諾依曼體系架構沒有考慮并行計算和數據共享情形,在如今的網絡時代,大量計算設備通過網絡形成一個龐大的,相互獨立而又統一的計算系統,因此我們可以總結出一個數據存儲的通用模型,這個模型包括兩級存儲,其存儲容量差距約1000倍:
SAN和NAS技術已經出現了10多年,目前單臺SAN或NAS最大容量已經做到PB級別,但在應對EB級數據挑戰時,還是顯得有些力不從心。這主要由于其架構和服務接口決定的。
傳統的RAID和Scale-up的結構也阻止了EB規模可用的存儲系統誕生,傳統的RAID基于硬盤,通常一個RAID組最多包含20+塊硬盤,難以支持EB級存儲規模,同時Scale-up這種結構也決定了即使達到EB級存儲容量,性能也將成為真個系統的短板。
我們再次回到人腦計算模型,在信息時代的今天,我們設想能否有一種“數字圖書館”,它可以共享大量的數據給很多人(服務器/服務器集群),提供超大的存儲容量千倍于當前的高速(SAN和NAS)存儲,人們(應用)訪問數據的時候也不需要知道圖書館怎么對這些書,只需要指定一些關鍵信息(如書名稱,出版社,作者)就可以獲取到這本書里面的數據。如果書變得老舊殘破,書中已經/快要爛掉的幾頁內容被這個“數字圖書館”自動的抄寫到其他紙張上面,并重新裝訂這本書。而對于作為數據使用者的人們根本無需知道圖書館自動完成的這一切,只是根據需要去獲取數據資源?
分布式對象存儲的誕生
隨著信息技術的發展,“數字圖書館”不再是一個遙不可及的設想,對象存儲使得“數字圖書館”成為現實。對象存儲系統(Object-Based Storage System)改進了SAN和NAS存儲的劣勢,保留了NAS的數據共享等優勢,通過高級的抽象接口替代了SCSI存儲塊和文件訪問接口,屏蔽了存儲底層的實現細節,將NAS垂直的樹形結構改變成平等的扁平結構,從而提高了擴展性、可靠性、平臺無關性等重要存儲特性,實現了安全數據共享的存儲體系結構。
換句話說對象存儲是智能化、封裝得更好的塊,是“文件”或其他應用級邏輯結構的組成部分,文件與對象的對應關系由上層直接控制,對象存儲設備本身也可能是個分布式的系統——這就是分布式對象存儲系統了。
用對象替代傳統模塊的好處在于對象的內容本身來自應用,其具有內在的聯系,具有“原子性”。同時,對象存儲架構還具有更好的可伸縮性。一個對象除了ID和用戶數據外,還包含了屬主、時間、大小、位置等源數據信息,權限等預定義屬性,乃至很多自定義屬性。
具備EB級規模擴展性的分布式對象存儲,能夠有效的填補上述通用計算模型中“網絡計算”場景海量存儲單元空白,通過高層次的數據模型抽象,可以簡化應用對數據訪問,同時使得海量存儲更加智能。
華為UDS海量存儲系統使你存無止境
華為基于對運營商、互聯網、高性能計算等各行業的深刻理解,憑借深厚的ICT技術積累,秉承存無止境,安全可信理念,通過不斷技術創新,面向海量存儲市場推出新一代的UDS產品和相關云存儲解決方案。
UDS采用基于ARM架構的低功耗、高密度存儲節點,通過對象存儲技術、P2P分布式存儲引擎技術、集群應用技術等構建海量對象存儲基礎架構平臺,對外提供多種訪問接口,以滿足不同業務的適配需求。基于UDS可以構建多種解決方案,如海量資源池,網盤,云備份,集中備份等。UDS幫助用戶構建強擴展,易管理,高可靠的系統,輕松應對海量存儲環境下的各種挑戰。
華為UDS(Unified Distributed Storage)海量存儲系統以對象作為基本存儲形式,通過分布式技術將本地或異地的海量存儲節點的存儲資源進行有機的整合,形成一個跨地域,跨設備,可橫向擴展的EB級的大型分布式對象存儲系統;該系統通過多種安全、可靠的存儲技術確保數據私密性及數據高可用;通過自動化部署、豐富的生命周期管理策略及高效節能特性,提高運維效率。華為UDS海量存儲通過構建數字洪流方波提,幫助客戶化挑戰為機遇,在發展中持續受益。