對象存儲架構(gòu)如何幫助降低存儲復(fù)雜性
對象存儲架構(gòu)通過提供一種非常適合存儲和保護(hù)大量非結(jié)構(gòu)化數(shù)據(jù)的文件結(jié)構(gòu)來解決傳統(tǒng)的存儲限制。
隨著數(shù)據(jù)增長速度的加快,企業(yè)組織比以往任何時候都需要具備更多的數(shù)據(jù)存儲能力,而且這樣的數(shù)據(jù)存儲能力需求還更快,更頻繁。
而與此同時,這種趨勢也造成了兩大挑戰(zhàn)難題:以非破壞性的方式增加存儲容量是相當(dāng)困難的,而傳統(tǒng)的存儲系統(tǒng)存儲容量增加達(dá)到一定程度之后往往難以超越。對象存儲體系架構(gòu)則可以解決這些挑戰(zhàn)。
增加存儲通常需要在擴(kuò)展期間取消關(guān)閉主存儲,故而會導(dǎo)致中斷。當(dāng)容量增加時,還往往會對其他基礎(chǔ)資源(如CPU和網(wǎng)絡(luò))造成壓力,因為存儲需要依賴這些資源以保持可接受的性能。
傳統(tǒng)存儲還存在或?qū)⒂绊懙娇捎眯缘钠渌矫娴南拗?。也許最重要的是需要備份數(shù)據(jù)。如果您企業(yè)數(shù)據(jù)中心的存儲空間不足,您需要一種方式來對其進(jìn)行恢復(fù)。
隨著數(shù)據(jù)集變得越來越大,提供事后數(shù)據(jù)保護(hù)可能難以解決,而且難度也很大。隨著數(shù)據(jù)集的增長,在備份窗口中可以合理容納更多的數(shù)據(jù)。處理數(shù)據(jù)保護(hù)需要一種更為實時的方法。而這就是對象存儲技術(shù)發(fā)揮其用武之地的時候了。
關(guān)于對象存儲架構(gòu)
一款對象存儲架構(gòu)解決了非結(jié)構(gòu)化數(shù)據(jù)增長的問題,并能夠幫助企業(yè)降低其存儲系統(tǒng)的復(fù)雜性。
您企業(yè)可能習(xí)慣于通過存儲協(xié)議(如NFS、光纖通道、iSCSI或SMB)來訪問的文件或塊。然而,在對象存儲領(lǐng)域,底層數(shù)據(jù)的結(jié)構(gòu)意味著您企業(yè)將不再需要使用這些協(xié)議。雖然在某些情況下,您仍然可以,但在對象存儲中,您不再需要創(chuàng)建復(fù)雜的目錄層次結(jié)構(gòu)來對對象進(jìn)行分類。相反,對象存儲允許您直接訪問對象。
對象可以像一個單個文件、圖像或視頻一樣簡單,也可以由多個元素組成,但它們?nèi)匀豢梢宰鳛閱蝹€對象進(jìn)行訪問。每個對象還具有關(guān)聯(lián)的元數(shù)據(jù)和唯一的對象標(biāo)識符,允許在稍后對其進(jìn)行檢索。這個可定制的元數(shù)據(jù)描述了每個關(guān)聯(lián)對象的各種屬性。
元數(shù)據(jù)元素總是包含共同的對象特征,但也可以擴(kuò)展到包括應(yīng)用程序特定的特性。讓我們用一個照片庫為例吧。在基于文件的領(lǐng)域中,您將擁有一個文件名、創(chuàng)建日期、修改日期、文件大小和文件所有者,以及某些操作系統(tǒng)特定的標(biāo)識符。
現(xiàn)在,讓我們不妨以Shutterstock公司為例。其對象存儲系統(tǒng)可以擴(kuò)展到包括額外的元數(shù)據(jù)元素,例如圖像類型(圖示或照片)、圖像寬度(以像素為單位)、圖像高度(以像素為單位)、圖像中存在的基色等等。通過將所有這些信息附加到對象上,企業(yè)客戶可以快速輕松地為其用戶檢索照片,而無需使用巨大的SQL數(shù)據(jù)庫來跟蹤所有這些信息。
作為另一示例,在醫(yī)療領(lǐng)域中,元數(shù)據(jù)可以包括患者的姓名、診療過程數(shù)據(jù)和醫(yī)師姓名,并且附接到諸如X射線圖像的對象。除了簡單地描述一個對象之外,元數(shù)據(jù)也可以用于安全性和可用性的目的,通過描述誰被允許訪問對象,對象應(yīng)該有多少冗余等等。對象存儲vs. 文件 vs.塊
乍看之下,對象存儲架構(gòu)可能看起來類似于塊存儲,其在最基本的層面也不具有層次結(jié)構(gòu)。然而,檢索數(shù)據(jù)塊需要文件系統(tǒng)中的較高級別的應(yīng)用程序來在塊存儲上施加層次結(jié)構(gòu)。塊和對象之間的另一個區(qū)別是基于塊的存儲不帶元數(shù)據(jù)。
對于基于文件的存儲,文件系統(tǒng)提供了層次結(jié)構(gòu),甚至有限的元數(shù)據(jù),因此其比原始塊存儲更適合于以內(nèi)容為主的企業(yè)組織。但是,在現(xiàn)實的情況下,個別的文件被分解成小塊碎片,然后散布在隨機位置的存儲中。文件系統(tǒng)知道在哪里可以獲取所有的小塊碎片,當(dāng)用戶請求文件時,文件系統(tǒng)便跳轉(zhuǎn)以檢索所有內(nèi)容。
對象存儲系統(tǒng)將文件存儲為單個實體,在應(yīng)用程序中使用對象ID對存儲進(jìn)行調(diào)用之后進(jìn)行檢索。每個對象都有一個唯一的對象ID,所以沒有必要保持較高級別的結(jié)構(gòu)來保持其組織架構(gòu)。搜索所有元數(shù)據(jù)的功能使得檢索項目更容易。
對象存儲領(lǐng)域中的可用性和數(shù)據(jù)保護(hù)
保持存儲數(shù)據(jù)的可用性和數(shù)據(jù)保護(hù)是IT最重要的職責(zé)之一。
為此,企業(yè)的存儲專業(yè)人員們部署了RAID陣列和備份系統(tǒng)。 RAID有助于防止硬件故障,而當(dāng)RAID不足時,或者當(dāng)出現(xiàn)RAID無法防范的災(zāi)難時,備份和恢復(fù)系統(tǒng)介入。
一款對象存儲架構(gòu)通常包括一種或兩種不同的數(shù)據(jù)保護(hù)方法,以防止硬件故障和災(zāi)難。雖然這對于每家具體的企業(yè)組織而言并不一定是必須的,但對象存儲可能會消除對第三方備份和恢復(fù)軟件的需求。這個舉措可以通過幾種不同的方式來實現(xiàn)。
擦除編碼。這比傳統(tǒng)的RAID實現(xiàn)要復(fù)雜一些,但目的是為了隱藏復(fù)雜性,并向管理員呈現(xiàn)一個更簡單的環(huán)境。
擦除編碼通過向數(shù)據(jù)塊添加多個奇偶校驗段,然后將這些奇偶校驗段分配到各個不同的位置。例如,假設(shè)存儲系統(tǒng)使用一個10+6的擦除編碼方法。奇偶校驗塊分布在16款驅(qū)動器上,但您只需要10塊磁盤才能繼續(xù)檢索數(shù)據(jù)。這意味著任何六款驅(qū)動器都可能會失敗。只要10塊磁盤仍然在運行,系統(tǒng)仍然運行。
如果某款驅(qū)動器出現(xiàn)故障,則在更換故障驅(qū)動器時,丟失的數(shù)據(jù)塊將從保留在生產(chǎn)中的10款驅(qū)動器中重建。這導(dǎo)致比RAID更快的恢復(fù)速度,特別是對于大型驅(qū)動器而言。
借助快速重建,當(dāng)涉及到容量開銷費用時,擦除編碼是有效的。其可以用于傳統(tǒng)的文件和塊存儲,但是這些部署是罕見的,因為擦除編碼是一個復(fù)雜的、計算密集的過程。
復(fù)制。有時除了擦除編碼之外,在其他存儲集群位置或甚至在其他地理位置進(jìn)行數(shù)據(jù)的冗余副本時會涉及復(fù)制。但復(fù)制增加了容量開銷。
通過使用兩個復(fù)制因素,您企業(yè)可以將數(shù)據(jù)保存兩次,使您的容量足跡翻倍。而三倍的復(fù)制因素將使您的容量足跡增加三倍,依此類推。通常,數(shù)據(jù)的本地可用性和保護(hù)可以通過擦除編碼來處理,而災(zāi)難恢復(fù)則利用復(fù)制。
協(xié)議和文件訪問??赏ㄟ^HTTP和REST API調(diào)用本機訪問對象存儲系統(tǒng)。這使得即使通過企業(yè)防火墻也可以訪問存儲。但是,這不會使對象存儲對于更多主流使用案例(如企業(yè)文件共享)有用。
用戶已經(jīng)習(xí)慣于通過NFS和SMB訪問他們的文件。許多對象存儲系統(tǒng)使用NFS或SMB服務(wù)作為其對象存儲的前端,以便用戶和應(yīng)用程序可以使用這些行業(yè)標(biāo)準(zhǔn)協(xié)議訪問文件。這只是一個兼容機制。在幕后,正在運行的則是對象存儲系統(tǒng)。
誰在使用對象存儲技術(shù)?
對象存儲的最大消費者是媒體和娛樂公司、石油和天然氣公司以及醫(yī)療機構(gòu)。這些企業(yè)對數(shù)據(jù)存儲的迫切需求正在快速增長,并且可以有效地容納數(shù)十億個成為對象的數(shù)據(jù)元素。
技術(shù)公司,特別是云服務(wù)提供商,以及其他軟件和服務(wù)提供商也在使用對象存儲。
對象存儲架構(gòu)的優(yōu)缺點
對象存儲架構(gòu)提供了許多好處。
簡單。對象存儲幾乎總是管理大量非結(jié)構(gòu)化數(shù)據(jù)的適合的工具。由于強大的元數(shù)據(jù)功能和平面結(jié)構(gòu)而言,對象存儲不需要任何抽象層,如文件系統(tǒng)。
成本優(yōu)勢。由于擴(kuò)展傳統(tǒng)的存儲和對數(shù)據(jù)增長的預(yù)測可能很困難,許多企業(yè)過度占用存儲空間,因此不需要頻繁地進(jìn)行管理,并防止發(fā)生中斷。
由于可擴(kuò)展性高,因此對象存儲可以幫助企業(yè)組織實現(xiàn)其存儲成本。換句話說,他們可以根據(jù)需要輕松添加更多的存儲空間,而不是批量購買。這種可擴(kuò)展性也意味著傳統(tǒng)存儲更新的理念消失了。無需每隔一年計劃花費一個周末的時間遷移到新的存儲空間,您企業(yè)只需添加一個新的節(jié)點,并將舊的節(jié)點停止服務(wù)即可。
組織管理。管理的簡化是一回事,但數(shù)據(jù)訪問和檢索的簡單性卻是另一回事。由于對象存儲中所具有的固有的基本簡單性,用戶可以輕松找到內(nèi)容。
但對象存儲也有一些限制,也可能不適合所有企業(yè)。例如,如果您企業(yè)的數(shù)據(jù)正在快速更改,諸如具有高事務(wù)計數(shù)的重要數(shù)據(jù)庫工作負(fù)載,對象存儲可能并不適合您企業(yè)。
此外,一些對象存儲供應(yīng)商不支持或不推薦在其產(chǎn)品上運行虛擬機,因為底層數(shù)據(jù)的變化太快,應(yīng)用程序性能可能會受到影響。
最后,雖然一些對象存儲系統(tǒng)聲稱它們不需要使用傳統(tǒng)工具進(jìn)行備份,但許多企業(yè)風(fēng)險管理者對此并不認(rèn)可。而一些傳統(tǒng)的備份工具不支持保護(hù)對象存儲。對象存儲采用者們將需要找到替代方法來匹配其對象存儲系統(tǒng)與其企業(yè)的數(shù)據(jù)保護(hù)策略。
購買對象存儲軟件
您企業(yè)可以通過幾種不同的方式購買對象存儲。在這個軟件定義數(shù)據(jù)中心的這個時代,如果您愿意添加更多的硬件,許多資源都可以作為軟件來獲得。
然而,許多企業(yè)可能更喜歡購買部署就緒的產(chǎn)品,并選擇已經(jīng)打包在設(shè)備上的軟件。一般來說,這些設(shè)備是x86服務(wù)器,可以使用特定的軟件進(jìn)行調(diào)試。
對象存儲的另一個選擇是允許您企業(yè)的供應(yīng)商在托管設(shè)備中為您進(jìn)行管理。同時,也請不要忘記了云服務(wù):對象存儲在云存儲提供商中是普遍存在的。對象存儲公司通常支持在公共云中部署,以實現(xiàn)混合云計劃,從而提供對于來自企業(yè)內(nèi)部部署環(huán)境的數(shù)據(jù)的無縫轉(zhuǎn)換。
對象存儲平臺市場
如下,我們將研究領(lǐng)先的對象存儲供應(yīng)商的產(chǎn)品。我們將聚焦于Caringo公司、DataDirect網(wǎng)絡(luò)公司、戴爾EMC、日立數(shù)據(jù)系統(tǒng)公司、IBM、NetApp和Scality公司的產(chǎn)品。這些供應(yīng)商及其產(chǎn)品是我們在對頂級市場進(jìn)行了廣泛研究后進(jìn)行的選擇,包括哪些產(chǎn)品最適合我們所提出的購買標(biāo)準(zhǔn)。以下,是對于每家供應(yīng)商的簡要概述。
Caringo公司作為獨立的對象存儲公司之一是值得注意的。該公司提供了Swarm對象存儲平臺以及FileFly產(chǎn)品,可以幫助企業(yè)客戶將現(xiàn)有的Microsoft Windows和NetApp文件共享遷移到Caringo Swarm群集。
另一家獨立公司日立提供了日立內(nèi)容平臺(HCP),其成為了企業(yè)對象存儲的基礎(chǔ),這是一款全功能的對象存儲。 HCP可以通過HCP Anywhere進(jìn)行擴(kuò)展,從而為企業(yè)客戶提供本地同步和共享(類似Dropbox)功能。
并不是上文列出的所有企業(yè)都只關(guān)注對象存儲。例如,DataDirect Networks公司就銷售各種基于文件和塊的存儲產(chǎn)品以及WOS專用對象存儲產(chǎn)品。而與Caringo公司一樣,DDN是一家獨立的,以存儲為中心的公司,該公司開發(fā)了他們自己的存儲產(chǎn)品線。
另一個從頭開始打造其產(chǎn)品的是Scality公司的RING對象存儲軟件,該產(chǎn)品可以在商品x86硬件上運行,使其成為想要自己的硬件獲得準(zhǔn)確規(guī)格的企業(yè)客戶的選擇,同時也能夠幫助降低成本。
戴爾EMC是最近經(jīng)歷了重大變革的企業(yè)的典范。戴爾通過收購EMC,現(xiàn)在提供多款對象存儲產(chǎn)品,包括Isilon和彈性云存儲。
如上所述,并不是所有的供應(yīng)商都開發(fā)了自己的產(chǎn)品。其中一家這樣的公司便是IBM。在2015年,IBM收購了Cleversafe,最近將該產(chǎn)品重新命名為IBM Cloud Object Storage。
同樣,通過2010年收購Bycast,NetApp現(xiàn)在銷售其StorageGRID Webscale產(chǎn)品,可以擴(kuò)展企業(yè)客戶內(nèi)部部署,并實現(xiàn)了跨地理位置的部署。