自動精簡配置&重復(fù)數(shù)據(jù)刪除核心技術(shù)點及其經(jīng)濟效應(yīng)探究
在當(dāng)前日益洶涌的金融危機逐漸影響實體經(jīng)濟的情況下,企業(yè)面臨存儲擴容需求時不得不精打細算,為了降低最終擁有成本(TOC),除了減少初次采購成本,也希望盡可能減少企業(yè)今后的運營維護成本。重復(fù)數(shù)據(jù)刪除技術(shù)作為時下最熱門的存儲優(yōu)化技術(shù),能顯著降低存儲設(shè)備物理介質(zhì)消耗,并減少數(shù)據(jù)中心對空調(diào),空間,和災(zāi)備的消耗,還可以與本文涉及的自動精簡技術(shù)無縫配合,極大降低存儲系統(tǒng)的維護管理成本,顯著提高企業(yè)存儲系統(tǒng)的利用率,實為抵御當(dāng)前經(jīng)濟危機的又一利器。
首先介紹存儲系統(tǒng)的自動精簡配置(Thin Provisioning)技術(shù)。自動精簡配置技術(shù)擴展了存儲管理功能,雖然實際分配的物理容量小,但可以為操作系統(tǒng)提供超大容量的虛擬存儲空間。隨著應(yīng)用寫入的數(shù)據(jù)越來越多,實際存儲空間也可以及時擴展,而無須手動擴展。換句話說,自動精簡配置提供的是“運行時空間”,可以顯著減少已分配但是未使用的存儲空間。
如下左圖所示為使用傳統(tǒng)配置方式創(chuàng)建了3個卷。整個存儲系統(tǒng)有2TB的可用存儲空間。卷1的大小是500GB,其中有100GB實際數(shù)據(jù),另外400GB是已經(jīng)分配但是未使用的空間。卷2的大小是800GB,其中200GB實際數(shù)據(jù),另外600GB為已分配但未使用的空間。卷3的大小是550GB,其中50GB實際數(shù)據(jù),另外500GB為已分配但未使用的空間。整個存儲系統(tǒng)有350GB的實際數(shù)據(jù),1.5TB已分配但未使用的空間,并***剩下150GB可用空間給其他應(yīng)用。
同樣的2TB存儲系統(tǒng)采用自動精簡配置技術(shù)之后,結(jié)果較傳統(tǒng)方法有顯著差異。系統(tǒng)管理員同樣創(chuàng)建這3個卷,使用自動精簡配置之后,由于存儲空間是在數(shù)據(jù)寫入過程中動態(tài)申請分配的,因此就不存在已分配但未使用的空間。所以采用自動精簡配置之后整個存儲系統(tǒng)里同樣有350GB數(shù)據(jù),但有1.65TB可用空間。相對于使用傳統(tǒng)配置方式時的150GB,采用自動精簡配置使得可用空間增加了11倍!
由此可以看出,采用自動精簡配置可以把存儲空間的利用率提高到近乎100%。
另外自動精簡配置不僅可以提高存儲空間的利用率,降低IT人員進行存儲管理的復(fù)雜度,還可以極大減少存儲系統(tǒng)擴容的規(guī)模,增加現(xiàn)有存儲系統(tǒng)支持的應(yīng)用服務(wù)器的數(shù)量。
以下對自動精簡配置的優(yōu)點進行簡單的總結(jié):
l 用戶可以創(chuàng)建更多的卷,單個卷的空間可以更大,并可以動態(tài)地管理各個卷的大小。
l 用戶可以在初次購買更少的存儲介質(zhì),并在隨后按需增加磁盤容量。
l 在創(chuàng)建卷時不需要進行深入的容量規(guī)劃,減少IT管理人員存儲配置的工作量,避免預(yù)估不當(dāng)造成的存儲空間浪費。或者存儲空間不夠?qū)е潞罄m(xù)中斷業(yè)務(wù)以進行擴容升級。
l 存儲介質(zhì)的空間利用率顯著提高,相應(yīng)地在同樣的存儲空間下可以支持更多的應(yīng)用服務(wù)器,提升存儲系統(tǒng)的利用率。
存儲介質(zhì)的空間利用率顯著提高,相應(yīng)地在同樣的存儲空間下可以支持更多的應(yīng)用服務(wù)器,提升存儲系統(tǒng)的利用率。
重復(fù)數(shù)據(jù)刪除(De-duplication)技術(shù),主要是對存儲數(shù)據(jù)流以一定的目標(biāo)尺寸進行指紋校驗,對于其中重復(fù)出現(xiàn)的數(shù)據(jù)單元,在實際寫入存儲介質(zhì)時,只需記錄相應(yīng)的指紋記錄位置即可,因此可以極大降低存儲介質(zhì)消耗。“去重率”這個參數(shù)就是用來定義重復(fù)數(shù)據(jù)刪除中的優(yōu)化率,它等于原數(shù)據(jù)大小除以去重之后的數(shù)據(jù)大小,實際去重率隨去重模塊部署在存儲系統(tǒng)的位置以及數(shù)據(jù)的重復(fù)率有較大差異。對于次級備份數(shù)據(jù),一般的去重率在10~20:1之間。另外還可以配合硬件壓縮,像Hifn公司的DR系列硬件加速無損壓縮板卡,可以在不影響備份設(shè)備性能的前提下取得2:1的壓縮比。這樣兩者結(jié)合,可以實現(xiàn)20~40:1的數(shù)據(jù)縮減比。
當(dāng)前重復(fù)數(shù)據(jù)刪除主要被用于次級備份業(yè)務(wù),一般和虛擬磁帶庫(VTL)處在同一位置。如果說IP-SAN市場的崛起是源于對鏈路要求從FC到IP的降級,那么支持重復(fù)數(shù)據(jù)刪除的IP-SAN設(shè)備會更加加速這樣的趨勢。因為經(jīng)過重復(fù)數(shù)據(jù)刪除和壓縮處理之后,應(yīng)用產(chǎn)生的數(shù)據(jù)被大量縮減,使得之前利用FC構(gòu)建的主存儲和次級存儲之間的鏈路的負擔(dān)顯著減輕,從而完全可以被更經(jīng)濟的IP鏈路所取代。
2009年,自動精簡配置和重復(fù)數(shù)據(jù)刪除這兩種技術(shù)可以顯著提升存儲介質(zhì)的利用率,進而提升存儲系統(tǒng)的利用率,減小企業(yè)IT運營成本,降低管理成本,有利于企業(yè)在經(jīng)濟發(fā)展面臨困境時順利過冬。