下面的場景

身為IT部門經(jīng)理的你

是否正在遇到？

“陳工，我是祝工，上次你們推薦的Isilon存儲我們現(xiàn)在已經(jīng)上線了，使用比較簡單，體驗也很好，我們現(xiàn)在數(shù)據(jù)量非常大，后期擴展和設(shè)備更新也省去了我數(shù)據(jù)遷移的麻煩，這個點解決了我多年心中的痛啊，現(xiàn)在晚上終于能安心睡個好覺了。”

“祝工，你滿意就好，聽到你這么說，我也非常有成就感，現(xiàn)在是不是有什么新的問題啊？”

“你懂我，哈哈！其實是這樣的，我現(xiàn)在碰到了一個比較頭疼的問題，除了Isilon外，其實我們還有4套數(shù)據(jù)量比較大的文件存儲，主要存儲項目組文檔資料、合同掃描件、發(fā)票稅控圖片、OA的附件，很多人事資料（包含離職人員檔案）、內(nèi)部培訓(xùn)視頻、APP應(yīng)用圖片數(shù)據(jù)，大大小小加起來也有小300T。”

“這是要上新存儲的節(jié)奏?。?rdquo;

“不不不，陳工，你先冷靜一下，目前的主要問題不是存儲容量和性能，現(xiàn)在應(yīng)用部門經(jīng)常會找我要這些數(shù)據(jù)報表，查找某些數(shù)據(jù)在哪個物理存儲上，或者說部分應(yīng)用數(shù)據(jù)因性能問題，需要從一臺存儲遷移到另一臺存儲，這樣的問題很多，而且短期內(nèi)我也不可能采購一套海量存儲，把所有數(shù)據(jù)遷移到一臺存儲上，還有招標規(guī)范性問題，也不能只招一個品牌存儲......”

☝前面就是我（戴爾科技售前工程師陳森江）最近和用戶電話交流的一個真實場景。

聽完之后，我和他總結(jié)了一下，其實祝工的核心需求是一個大量文件類數(shù)據(jù)的統(tǒng)一管理平臺，即多臺異構(gòu)存儲上的數(shù)據(jù)，在邏輯上有一個統(tǒng)一管理，同時不影響原來物理數(shù)據(jù)存儲架構(gòu)，還可以給領(lǐng)導(dǎo)看報表，幫助應(yīng)用快速查找數(shù)據(jù)，還要在不同物理存儲之間實現(xiàn)數(shù)據(jù)的快速遷移。

怎么辦呢？

我推薦的是戴爾科技的DataIQ

DataIQ前身是Data Frameworks的Clarity Now，2018年被戴爾科技收購后，經(jīng)過幾個版本的更新，現(xiàn)被更名為DataIQ。

DataIQ是一個純軟件的異構(gòu)存儲管理平臺，而且以旁路方式接入用戶環(huán)境，它的整個安裝、部署、測試使用等工作都不會影響用戶目前的業(yè)務(wù)和生產(chǎn)。

所以，用戶可以在任何時候安裝部署DataIQ。

DataIQ主要有三個功能：

• 快速搜索
• 形成報表
• 數(shù)據(jù)遷移

接下來，我們簡單看一下

DataIQ的架構(gòu)與應(yīng)用場景

在拓撲架構(gòu)上，DataIQ本身是部署在Linux上的一臺Server，支持S3、NFS、CIFS（SMB）和本地掛載。

簡單來說，無論是哪個品牌的存儲、哪種型號，只要通過S3、NFS、CIFS（SMB）協(xié)議，以及本地掛載被DataIQ所在的Linux Server掛載（mount），都能被DataIQ進行統(tǒng)一管理，用戶也不用擔心招標采購結(jié)果是哪家存儲。

在配置過程中，只要被管理的存儲開通一個賬號給DataIQ Server即可，之后DataIQ Server會掃描并創(chuàng)建索引。如果用戶只想做數(shù)據(jù)快速搜索、數(shù)據(jù)報表，那么存儲端需要開通一個只讀賬號；如果要在不同存儲（如NAS存儲到對象存儲）之間做數(shù)據(jù)遷移，那么存儲給DataIQ Server掛載的賬號需要賦予讀寫權(quán)限。

而訪問DataIQ Server的客戶端可以是Windows Client/Linux Client/MacOS client，在訪問方式上可以通過Web瀏覽器、GUI客戶端，也支持CLI命令行接口，以及Python API和Direct RESTful API訪問。

如果用戶的一些應(yīng)用是基于Python的，那么很多數(shù)據(jù)查詢，報告甚至數(shù)據(jù)遷移的工作都可以由應(yīng)用程序自動完成，可以大大減輕IT管理員的日常數(shù)據(jù)管理工作量。

最后，我們來看一看DataIQ的三個典型應(yīng)用場景，也許其中就有適合你的：

01左中括號應(yīng)用場景一：數(shù)據(jù)搜索左中括號

就如前面我們的客戶祝工提到的一樣，應(yīng)用管理員發(fā)現(xiàn)他們其中一個應(yīng)用的部分數(shù)據(jù)的延時非常高，他們想知道是不是存儲這部分數(shù)據(jù)的存儲，是性能有問題或有其它故障類原因，于是第一時間找到了祝工，給他一些示例數(shù)據(jù)。

然而要在4套存儲中快速找到這些數(shù)據(jù)所在路徑，并不是容易的事。你需要4套存儲不同用戶的數(shù)據(jù)一套套掛載查看、搜索，而且在上億數(shù)量的文件中搜索你想要的其中幾個文件，效率是非常低的。

但是有了DataIQ，結(jié)果就完全不同了，祝工只需在DataIQ中搜索，幾秒種就能出結(jié)果。

這到底是如何做到的？

DataIQ通過RocksDB將所有存儲上的非結(jié)構(gòu)化數(shù)據(jù)形成索引，并將索引cache到內(nèi)存中，以實現(xiàn)快速搜索。在一些用戶的測試中我們發(fā)現(xiàn)，在一個60億文件數(shù)量級的場景（后端存儲以SAS或NL-SAS為主），如果通過DataIQ去搜索一個文件名，僅需要10-20秒就可以出結(jié)果。但是如果普通的Search方式，可能需要幾十天才能完成，還不能完成全局搜索，要分目錄搜索。

所以，結(jié)合DataIQ實際使用中更加豐富的數(shù)據(jù)搜索的條件，使用起來更加的豐富與實用。

DataIQ界面圖

02左中括號應(yīng)用場景二：快速報表左中括號

在一項項目需求中，IT管理員也經(jīng)常會被領(lǐng)導(dǎo)或應(yīng)用開發(fā)人員問到：

1. 目前所有存儲各自還有多少空間，不同應(yīng)用目錄的文件量達到多少了，大小有多少，非法字符有多少？
2. 不同的項目組各自用了多少空間？
3. 不同存儲介質(zhì)、不同存儲空間的使用成本大概能統(tǒng)計出來嗎？目前的IT投入產(chǎn)出還能成正比嗎？
4. 哪些數(shù)據(jù)是重復(fù)的，能快速做到清理嗎？
5. 能不能針對這些問題出份報表，明天給領(lǐng)導(dǎo)匯報？

… …

在使用DataIQ之前，存儲管理員可能需要通過各種第三方工具或存儲管理工具進行熬夜統(tǒng)計，工作瑣碎復(fù)雜，但是使用DataIQ這些都是能夠自動去完成。

03左中括號應(yīng)用場景三：數(shù)據(jù)遷移左中括號

在我們?nèi)粘４鎯εc數(shù)據(jù)的運維管理中，因存儲硬件性能問題、存儲生命周期結(jié)束或數(shù)據(jù)歸檔等場景中，IT管理人員都會面臨大量的數(shù)據(jù)遷移工作，甚至因為應(yīng)用與IT存儲管理人員之間看問題重點的不同，導(dǎo)致雙方對立的情況也經(jīng)常會出現(xiàn)。

這些問題在DataIQ的幫助下同樣可以很好解決。

IT管理員可以通過DataIQ分配一個專用的超級用戶給應(yīng)用開發(fā)或維護人員，同時根據(jù)需求分配好空間使用權(quán)限，如高負載應(yīng)用分配2T全閃空間（如基于戴爾易安信Isilon F800），低負載分配5T SAS空間（如基于戴爾易安信Unity 480），而歸檔或冷數(shù)據(jù)分配30T對像存儲空間（如戴爾易安信ECS），這樣應(yīng)用人員可以根據(jù)應(yīng)用的需求自己進行數(shù)據(jù)的遷移與歸檔。

這些操作完全不需要接觸后端的物理存儲，存儲管理員只需要做好硬件資源的規(guī)劃與維護，大大降低了IT存儲管理員的工作量與責任。

DataIQ對數(shù)據(jù)遷移支持的對像也非常豐富，可以支持NAS存儲之間的遷移，也可能從NAS到S3（反之亦然），也可以從NAS到amazon等。

DataIQ就是這樣一款純軟件的、旁路的異構(gòu)存儲管理平臺（任何時候都不影響生產(chǎn)環(huán)境），對戴爾易安信存儲空間的管理完全是免費的（非戴爾科技存儲僅按容量收費），這對用戶來說，完全是一個增值服務(wù)，你還等等什么呢？

如果您有任何問題

歡迎在下方留言

也可以點擊文末閱讀原文

進入官網(wǎng)詳細了解

尊敬的讀者

隨著2021新年的到來

戴爾科技開年第一“惠”盛情來襲

助企業(yè)新的一年牛氣沖天！

多款服務(wù)器、工作站、商用筆記本

等產(chǎn)品限時優(yōu)惠

更有0元試用、現(xiàn)金紅包

等活動等你來參與

快來掃描下方二維碼

或點擊文末閱讀原文

了解活動詳情

相關(guān)內(nèi)容推薦：新品：PowerScale里的DataIQ