存儲(chǔ)分層金字塔是啥玩意兒?
這年頭IT市場(chǎng)充斥著各種忽悠詞匯,我舉個(gè)例子,當(dāng)客戶(hù)或是終端使用者問(wèn)到SSD(固態(tài)硬盤(pán))以及HDD(機(jī)械硬盤(pán))彼此之間該怎么最有效的使用時(shí),大部分的原廠銷(xiāo)售代表就拿出個(gè)下像面的圖并用幾句話帶過(guò),不外乎就是SSD會(huì)被放在比較上層處理小IO的應(yīng)用,大塊數(shù)據(jù)就是扔到HDD上,結(jié)束。說(shuō)實(shí)在的,連我自己搞技術(shù)營(yíng)銷(xiāo)的都說(shuō)服不了自己,我還不敢給客戶(hù)這樣說(shuō)呢……
圖1: 存儲(chǔ)分層金字塔
在一個(gè)加班準(zhǔn)備吃夜宵的餐館中,遇到了幾位大嬸阿姨,一直稱(chēng)贊咱們東芝做的冰箱很耐用,問(wèn)我做什么的,于是想了個(gè)法子來(lái)解釋給他們聽(tīng)聽(tīng)我平常在銷(xiāo)售的是什么。
圖2: 像廚房一般的存儲(chǔ)分層
如果平時(shí)存放的資料就像是食物的話,那保存食物的地方不外乎就是幾個(gè),廚房里的冰箱、冷凍庫(kù)、微波爐、烤箱甚至咖啡機(jī)。平時(shí)煮菜或是備料時(shí),也都會(huì)考量到何時(shí)要用到食材而分門(mén)別類(lèi)的放置:又或是根據(jù)急迫性來(lái)分類(lèi),例如濃縮咖啡機(jī)的快速?zèng)_泡、加班的人們速速微波便當(dāng)準(zhǔn)備敢下個(gè)會(huì)議等等。
具體來(lái)說(shuō),數(shù)據(jù)中心的存儲(chǔ)設(shè)備就有如這個(gè)all in one廚房設(shè)備一樣,保存者食物也時(shí)不時(shí)地江餐點(diǎn)端上桌。大致來(lái)講,從三個(gè)面向來(lái)探討。
一、比例原則
也不是所有的資料都是硬梆梆的只放在HDD或是SSD這兩種二分法而已,而是都會(huì)放或是都會(huì)待過(guò)。而由于應(yīng)用軟件所側(cè)重的性質(zhì)不同,其資料放置在SSD或HDD的比例有所區(qū)隔而已。舉個(gè)例子,近期在我是歌手很火紅的視頻-蕭敬騰所翻唱的以后別做朋友,由于太火了,大部分個(gè)省份的人都會(huì)想要即時(shí)點(diǎn)播來(lái)看,這時(shí)候可能像騰訊視頻、Bilibili等軟件就會(huì)把這段視頻先緩存起來(lái),放置在各區(qū)域的CDN服務(wù)器當(dāng)中,以利各家視頻軟件達(dá)到所謂“秒級(jí)點(diǎn)播“的服務(wù)。等過(guò)一陣子空間得重新配置或有更火的視頻出來(lái)之后,蕭敬騰這段視頻就會(huì)慢慢由上往下移到HDD中存放,讓各位粉絲們回溯尋找。
二、應(yīng)用導(dǎo)向
從圖2我們看到,在線交易(OLTP)、推薦系統(tǒng)或金融支付這幾類(lèi)講求實(shí)時(shí)性以及低延遲的應(yīng)用,就會(huì)要求較多的數(shù)據(jù)緩存在PCIe SSD類(lèi)別類(lèi),因?yàn)槠滠浖再|(zhì)要求的速度和延遲下,必須得用這個(gè)級(jí)別的SSD才能達(dá)到,所以有一部分的企業(yè)級(jí)應(yīng)用標(biāo)榜著QoS協(xié)議,也是跟其后臺(tái)租用這類(lèi)服務(wù)器有關(guān)。在舉個(gè)例子,很多國(guó)內(nèi)BAT數(shù)據(jù)中心都會(huì)使用分布式運(yùn)算,Hadoop可能是目前***宗的,其在資料分開(kāi)運(yùn)算的過(guò)程中,會(huì)產(chǎn)生大量的臨時(shí)性文件( temporary data ),需要超越2.5″ SAS HDD能耐的東西但又不需要太高端的速度,因此有幾家則是使用SATA SSD作為這個(gè)媒介,大量又快速的存儲(chǔ)下去之后又馬上洗掉,就好像西餐廳里的牛排一樣,用完餐之后洗乾凈在服務(wù)下一位客戶(hù)。
三、熱度頻率
前面也稍微提過(guò),應(yīng)用軟件的性質(zhì)會(huì)決定了大部分的資料在什么層級(jí)的存儲(chǔ)進(jìn)行。試者想想當(dāng)我們要看在5年前微信朋友圈中發(fā)生了什么事,那個(gè)往上滑而不斷讀取的圓圈進(jìn)度條一直在轉(zhuǎn),就是在朝騰訊放冷存儲(chǔ)的HDD集群們撈你的資料,畢竟在現(xiàn)今互連網(wǎng)的風(fēng)潮之下,大家都不記得(或是不在乎)前幾天中餐吃了哪家餐館的時(shí)候,很少有人沒(méi)事一直看自己還是18歲時(shí)候的照片,跟使用的熱度或是一般會(huì)訪問(wèn)的頻率有關(guān)。另外,政府機(jī)構(gòu)其實(shí)很要求這些互連網(wǎng)巨頭、電信運(yùn)營(yíng)商將資料都保存十年以上,可能是讓一切都有憑有據(jù)的準(zhǔn)備也有可能是秋后要大算帳……。但就是跟使用行為、訪問(wèn)頻率、群體熱度有關(guān)連。
結(jié)語(yǔ):從粗放農(nóng)業(yè)過(guò)渡到精致農(nóng)業(yè)
各家數(shù)據(jù)中心目前算盤(pán)打的愈來(lái)愈精了,從冷卻、用電、通風(fēng)、人員管理、資安以及硬件資源的配用,都已經(jīng)快到出神入化的程度(甚至是自己做SSD了)。也連帶的讓數(shù)據(jù)中心在系統(tǒng)設(shè)計(jì)的架構(gòu)上、采購(gòu)行為和配置考量點(diǎn)都與傳統(tǒng)IT完全不同。企業(yè)內(nèi)部的私有云架構(gòu)可能還像是粗放農(nóng)業(yè)一般,有些許的資源閑置在那邊或是大材小用,然侯數(shù)據(jù)中心就是運(yùn)算、網(wǎng)路、存儲(chǔ)都切的很開(kāi)并且分配的很細(xì)致,盡量不要有一絲的浪費(fèi)!
對(duì)了,大嬸們聽(tīng)的如吃如醉,略微張開(kāi)的嘴巴與越過(guò)眼鏡上緣看著我的神情讓我愈說(shuō)愈自得其樂(lè),而***也得到阿姨們的贊賞:東芝的冰箱真的好用又不會(huì)壞啦!