重復數(shù)據(jù)刪除不是什么新鮮事。第三方廠商將這項技術(shù)用于收縮備份存儲和WAN優(yōu)化已經(jīng)很多年了。雖然如此，但在Windows操作系統(tǒng)中一直沒有自己的重復數(shù)據(jù)刪除功能。但是這種情況隨著Windows Server 8的發(fā)布就要改變了。

和存在已久的第三方產(chǎn)品一樣，Windows Server 8的重復數(shù)據(jù)刪除功能旨在讓更多的數(shù)據(jù)保存在更少的空間中。注意，我不是說這個重復數(shù)據(jù)刪除功能能讓更多的數(shù)據(jù)存儲在更少的空間中。盡管Windows Server 8將支持存儲級的重復數(shù)據(jù)刪除，它還支持傳輸中數(shù)據(jù)的重復數(shù)據(jù)刪除。

存儲重復數(shù)據(jù)刪除

盡管重復數(shù)據(jù)刪除是Windows操作系統(tǒng)中的新功能，微軟產(chǎn)品已經(jīng)用多種方法增加存儲容量很長時間了。例如，Windows操作系統(tǒng)長久以來都支持文件系統(tǒng)(NTFS)級別的壓縮。同樣地，Exchange Server的一些之前版本通過單一實例存儲(SIS)的使用尋求方法來最大化可用的存儲空間。盡管這樣的技術(shù)的確幫助降低了存儲成本，但是NTFS壓縮和單一實例存儲都沒有Windows Server 8的重復數(shù)據(jù)刪除那么高效。

根據(jù)微軟的估計，Windows Server 8的重復數(shù)據(jù)刪除功能在年末市的時候能為一般的數(shù)據(jù)存儲交付2：1的優(yōu)化比率。這個比率在虛擬服務器環(huán)境中可以增加到20：1。

存儲重復數(shù)據(jù)刪除工作的方式

Windows Server 8的重復數(shù)據(jù)刪除功能比單一實例存儲更高效的原因是因為SIS是在文件級別工作。換句話說，如果一個文件的兩份相同拷貝需要放在一臺服務器上，那么單一實例存儲只存儲這個文件的一個拷貝，但是使用指示器來造成存在多個文件拷貝的假象。盡管這種技術(shù)對于包括多個同一文件的服務器來說的確很好，但是對于類似但不相同的文件來說就沒有任何作用了。

這個操作系統(tǒng)會為每一塊計算哈希。然后這些哈希值進行比較來確定哪一塊是相同的。發(fā)現(xiàn)相同的塊時，除了一個塊之外的所有拷貝都會刪除。這個文件系統(tǒng)使用指示器來介紹哪個塊附屬于哪個文件。考慮這種程序的一個方法是遺留文件系統(tǒng)一般把文件當作數(shù)據(jù)流。但是Windows Server 8的文件系統(tǒng)(啟用了重復數(shù)據(jù)刪除功能)更多的情況下會把文件當作一個塊集。

順便提一下，Windows Server 8的提前測試版使用文件系統(tǒng)壓縮。任何可能的時候，數(shù)據(jù)的獨立塊都會壓縮來節(jié)省空間。

數(shù)據(jù)完整性

關(guān)于數(shù)據(jù)重復刪除的一大擔憂就是文件完整性。盡管機率不大，但是數(shù)據(jù)的兩個不相似的塊擁有相同的哈希值理論上也是可能的。有些第三方產(chǎn)品通過在刪除重復塊前使用不同且更復雜公式來驗證這些塊確實是相同的。

盡管微軟沒有給出用來保護數(shù)據(jù)完整性的具體確切的方法，但是Windows Server 8開發(fā)者預覽版的指南中提到，該操作系統(tǒng)“利用校檢和、一致性和標識確認來確保數(shù)據(jù)的完整性”。此外，這個操作系統(tǒng)還使用冗余來防止某些類型數(shù)據(jù)塊的數(shù)據(jù)流失。

帶寬優(yōu)化

正如之前提到的，Windows Server 8將實現(xiàn)已存儲數(shù)據(jù)和傳輸中數(shù)據(jù)的重復數(shù)據(jù)刪除。重復數(shù)據(jù)刪除技術(shù)和之前描述的要整合到分支緩存中的那些技術(shù)一樣，這些技術(shù)最小化通過WAN連接傳輸?shù)臄?shù)據(jù)量。自帶的重復數(shù)據(jù)刪除功能將保留大量的存儲空間，同時它不會對文件系統(tǒng)的性能造成不良影響。

【編輯推薦】

1. Windows Server 8 Hyper-V 概述
2. Windows Server 8：基于標準的存儲管理
3. Windows Server 8中的利器：微軟在線備份服務