大數(shù)據(jù)之“大”

“大”是相對而言的概念。例如，對于像SAP HANA那樣的 “內(nèi)存數(shù)據(jù)庫”來說，2TB可能就已經(jīng)是大容量了;而對于像谷歌這樣的搜索引擎，EB的數(shù)據(jù)量才能稱得上是大數(shù)據(jù)。

“大”也是一個迅速變化的概念。HDS 在 2004 年發(fā)布的 USP 存儲虛擬化平臺具 備管理 32PB 內(nèi)外部附加存儲的能力。當(dāng)時，大多數(shù)人認(rèn)為，USP 的存儲容量大得有 些離譜。但是現(xiàn)在，大多數(shù)企業(yè)都已經(jīng)擁有 PB 級的數(shù)據(jù)量，一些搜索引擎公司的數(shù)據(jù) 存儲量甚至達(dá)到了 EB 級。由于許多家庭都 保存了 TB 級的數(shù)據(jù)量，一些云計(jì)算公司正在推廣其文件共享或家庭數(shù)據(jù)備份服務(wù)。

有容乃“大”

由此看來，大數(shù)據(jù)存儲的首要需求存儲容量可擴(kuò)展。大數(shù)據(jù)對存儲容量的需求已經(jīng)超出目前用戶現(xiàn)有的存儲能力。我們現(xiàn)在正處于 PB 級時代，而EB級時代即將到來。過去，許多企業(yè)通常以五年作為 IT系統(tǒng)規(guī)劃的一個周期。在這五年中，企業(yè)的存儲容量可能會增加一倍。現(xiàn)在，企業(yè)則需要制定存儲數(shù)據(jù)量級(比如從PB級到EB級)的增長計(jì)劃，只有這樣才能確保業(yè)務(wù)不受干擾地持續(xù)增長。這就要求實(shí)現(xiàn)存儲虛擬化。存儲虛擬化是目前為止提高存儲效率最重要、最有效的技術(shù)手段。它為現(xiàn)有存儲系統(tǒng)提供了自動分層和精簡配置等提高存儲效率的工具。擁有了虛擬化存儲，用戶可以將來自內(nèi)部和外部存儲系統(tǒng)中的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)全部整合到一個單一的存儲平臺上。當(dāng)所有存儲資產(chǎn)變成一個單一的存儲資源池時，自動分層和精簡配置功能就可以擴(kuò)展到整個存儲基礎(chǔ)設(shè)施層面。在這種情況下，用戶可以輕松實(shí)現(xiàn)容量回收和容量利用率的最大化，并延長現(xiàn)有存儲系統(tǒng)的壽命，顯著提高IT系統(tǒng)的靈活性和效率，以滿足非結(jié)構(gòu)化數(shù)據(jù)增長的需求。中型企業(yè)可以在不影響性能的情況下將HUS的容量擴(kuò)展到近3PB，并可通過動態(tài)虛擬控制器實(shí)現(xiàn)系統(tǒng)的快速預(yù)配置。此外，通過HDS VSP 的虛擬化功能，大型企業(yè)可以創(chuàng)建0.25EB容量的存儲池。隨著非結(jié)構(gòu)化數(shù)據(jù)的快速增長，未來，文件與內(nèi)容數(shù)據(jù)又該如何進(jìn)行擴(kuò)展呢?

不斷“生長”的大數(shù)據(jù)

與結(jié)構(gòu)化數(shù)據(jù)不同，很多非結(jié)構(gòu)化數(shù)據(jù)需要通過互聯(lián)網(wǎng)協(xié)議來訪問，并且存儲在文件或內(nèi)容平臺之中。大多數(shù)文件與內(nèi)容平臺的存儲容量過去只能達(dá)到TB級，現(xiàn)在則需要擴(kuò)展到PB級，而未來將擴(kuò)展到EB級。這些非結(jié)構(gòu)化的數(shù)據(jù)必須以文件或?qū)ο蟮男问絹碓L問。基于Unix 和Linux的傳統(tǒng)文件系統(tǒng)通常將文件、目錄或與其他文件系統(tǒng)對象有關(guān)的信息存儲在一個索引節(jié)點(diǎn)中。索引節(jié)點(diǎn)不是數(shù)據(jù)本身，而是描述數(shù)據(jù)所有權(quán)、訪問模式、文件大小、時間戳、文件指針和文件類型等信息的元數(shù)據(jù)。傳統(tǒng)文件系統(tǒng)中的索引節(jié)點(diǎn)數(shù)量有限，導(dǎo)致文件系統(tǒng)可以容納的文件、目錄或?qū)ο蟮臄?shù)量受到限制。HNAS 和HCP 使用基于對象的文件系統(tǒng)，使得其容量能夠擴(kuò)展到PB級，可以容納數(shù)十億個文件或?qū)ο蟆Ｎ挥赩SP 或HUS 之上的HNAS 和HCP 網(wǎng)關(guān)不僅可以充分利用模塊存儲的可擴(kuò)展性，而且可以享受到通用管理平臺HitachiCommand Suite 帶來的好處。HNAS 和HCP 為大數(shù)據(jù)的存儲提供了一個優(yōu)良的架構(gòu)。大數(shù)據(jù)存儲平臺必須能夠不受干擾地持續(xù)擴(kuò)展，并具有跨越不同時代技術(shù)的能力。數(shù)據(jù)遷移必須在最小范圍內(nèi)進(jìn)行，而且要在后臺完成。大數(shù)據(jù)只要復(fù)制一次，就能具有很好的可恢復(fù)性。大數(shù)據(jù)存儲平臺可以通過版本控制來跟蹤數(shù)據(jù)的變更，而不會因?yàn)榇髷?shù)據(jù)發(fā)生一次變更，就重新備份一次所有的數(shù)據(jù)。HDS 的所有產(chǎn)品均可以實(shí)現(xiàn)后臺的數(shù)據(jù)移動和分層，并可以增加VSP、HUS 數(shù)據(jù)池、HNAS 文件系統(tǒng)、HCP 的容量，還能自動調(diào)整數(shù)據(jù)的布局。傳統(tǒng)文件系統(tǒng)與塊數(shù)據(jù)存儲設(shè)備不支持動態(tài)擴(kuò)展。大數(shù)據(jù)存儲平臺還必須具有彈性，不允許出現(xiàn)任何可能需要重建大數(shù)據(jù)的單點(diǎn)故障。HDS可以實(shí)現(xiàn)VSP 和HUS的冗余配置，并能為HNAS 和HCP節(jié)點(diǎn)提供相同的彈性。大數(shù)據(jù)存儲平臺需要將文件、塊數(shù)據(jù)和內(nèi)容集成到一個統(tǒng)一的HitachiCommand Suite管理平臺之上，以滿足大數(shù)據(jù)處理和應(yīng)用的需求。