小Ceph能助開(kāi)源存儲(chǔ)實(shí)現(xiàn)超大規(guī)模存儲(chǔ)的夢(mèng)想嗎?
在許多IT領(lǐng)域中,開(kāi)源軟件已經(jīng)變得越來(lái)越重要。如今,隨著存儲(chǔ)逐漸變成軟件定義存儲(chǔ),存儲(chǔ)領(lǐng)域也在發(fā)生著重大的轉(zhuǎn)變。雖然Ceph并不是唯一的可行和流行的選項(xiàng),但它們無(wú)疑是開(kāi)源存儲(chǔ)運(yùn)動(dòng)的寵兒。
統(tǒng)一存儲(chǔ)平臺(tái)最早源自加州的一篇博士論文,即便不是最受歡迎的選項(xiàng),Ceph也無(wú)疑是最受歡迎的針對(duì)OpenStack部署的軟件層中的選項(xiàng)之一。作為OpenStack主導(dǎo)的云計(jì)算消費(fèi),Ceph具有相當(dāng)大的優(yōu)勢(shì)。
重要廠商的一路支持也給了這一開(kāi)源項(xiàng)目許多幫助,因?yàn)楸M管很大一部分用戶樂(lè)于使用軟件并依賴于社區(qū)支持,但是還是有很多用戶的開(kāi)源項(xiàng)目需要付費(fèi)的專業(yè)支持。由開(kāi)發(fā)者Sage Weil創(chuàng)建的Inktank Storage公司的主要業(yè)務(wù)是為Ceph項(xiàng)目提供商業(yè)化的服務(wù)和支持,該公司在2014年被紅帽所收購(gòu),這讓Ceph隨之獲得了紅帽的支持。
Ceph項(xiàng)目的創(chuàng)建者 Sage Weil
除了紅帽對(duì)Ceph的研發(fā)支持外,隨著該平臺(tái)被多家硬件和系統(tǒng)供應(yīng)商接受,該平臺(tái)還獲得了許多專業(yè)廠商的支持,其中最著名的廠商是富士通。與此同時(shí),一些規(guī)模較小的廠商也開(kāi)始推出自己的超大規(guī)模存儲(chǔ)設(shè)備。
那么,是什么正在推動(dòng)Ceph在正規(guī)的機(jī)構(gòu)和組織中展開(kāi)部署呢?
為什么Ceph會(huì)如此出眾?尤其是在我們能夠選擇像Gluster、Lustre、MogileFS、Skylable,以及OpenStack的 Swift、Cinder和Manilla等免費(fèi)或開(kāi)源存儲(chǔ)平臺(tái)的情況下。這些免費(fèi)或開(kāi)源存儲(chǔ)平臺(tái)也同樣擁有想要實(shí)現(xiàn)超大規(guī)模存儲(chǔ)的雄心壯志。
為什么Ceph如此出眾?
當(dāng)然部分原因是因?yàn)镃eph是軟件定義存儲(chǔ),正如上面所提到的那樣,同時(shí)它還是開(kāi)源和企業(yè)級(jí)的。另一個(gè)重要的方面是Ceph還是統(tǒng)一存儲(chǔ),可通過(guò)一個(gè)單一的存儲(chǔ)系統(tǒng)提供對(duì)象、塊和文件服務(wù)。
Ceph的創(chuàng)始人,如今在紅帽中擔(dān)任Ceph首席架構(gòu)師的Sage Weil說(shuō):
“雖然Ceph在云端對(duì)象存儲(chǔ)方面正在Swift展開(kāi)競(jìng)爭(zhēng),但是我們常常提及的Ceph的使用案例讓它同時(shí)與那些專利方案展開(kāi)競(jìng)爭(zhēng)。Cinder只是一個(gè)代理API,為訪問(wèn)塊存儲(chǔ)提供了一個(gè)通用接口,它們本身不提供任何存儲(chǔ),因此它們是一個(gè)賦能者而并非競(jìng)爭(zhēng)對(duì)手。”
開(kāi)發(fā)者基本上都使用對(duì)象存儲(chǔ)的主要原因在于,它能夠很好地滿足超大規(guī)模存儲(chǔ)的需求。實(shí)際上,超大規(guī)模存儲(chǔ)主要是應(yīng)對(duì)系統(tǒng)中正飛速增長(zhǎng)且規(guī)模不確定的數(shù)據(jù)量,實(shí)現(xiàn)對(duì)這些海量信息的高效存儲(chǔ)。
超大規(guī)模存儲(chǔ)在許多方面都不同于傳統(tǒng)的企業(yè)存儲(chǔ),最顯著的不同之處在于——規(guī)模和應(yīng)用負(fù)載。通常,超大規(guī)模存儲(chǔ)將通過(guò)更少的應(yīng)用來(lái)服務(wù)更多的用戶,企業(yè)存儲(chǔ)剛好相反,它們支持更多的應(yīng)用,但是支持的用戶數(shù)量卻不多。
超大規(guī)模存儲(chǔ)也趨向于軟件定義,通過(guò)自動(dòng)化盡量減少管理員和其他所需人員的人數(shù)、模塊和橫向擴(kuò)展。因此,它們的擴(kuò)展是通過(guò)向集群增加節(jié)點(diǎn)的方式進(jìn)行的,并且針對(duì)在商用存儲(chǔ)中實(shí)現(xiàn)每拍字節(jié)的最大原始容量和最低成本進(jìn)行了專門的優(yōu)化。
最重要的是,這些系統(tǒng)最終超越了RAID等過(guò)時(shí)的技術(shù),因?yàn)榇疟P容量的高速增長(zhǎng)已經(jīng)導(dǎo)致無(wú)法在短時(shí)間內(nèi)修復(fù)失效的RAID組,從而無(wú)力保證安全性和可靠性。Ceph則可以通過(guò)更高的吞吐量橫跨多個(gè)節(jié)點(diǎn)復(fù)制單個(gè)文件,這讓它們具有了容錯(cuò)能力和自我修復(fù)能力。此外,它們還可以復(fù)制被頻繁訪問(wèn)的對(duì)象,以提供負(fù)載均衡。
正如Evaluator集團(tuán)的高級(jí)分析師Eric Slack所指出來(lái)的那樣,Ceph所面臨的挑戰(zhàn)是“超大規(guī)模存儲(chǔ)夢(mèng)想”和對(duì)于普通機(jī)構(gòu)來(lái)說(shuō)其可行程度之間的差距。他說(shuō):“人們知道亞馬遜、 facebook和谷歌正在做什么,并且會(huì)說(shuō)‘這很酷呀!’,我也應(yīng)該這么做。然而當(dāng)真正部署時(shí),我們才發(fā)現(xiàn),這些超大規(guī)模存儲(chǔ)的部署者都擁有大量?jī)?yōu)化的人才在幫他們編寫軟件,并且他們會(huì)采購(gòu)數(shù)千個(gè)單元,而這是普通企業(yè)無(wú)法做到的。”
Slack認(rèn)為,一個(gè)解決辦法是采取超融合路線,但這常常意味著廠商鎖定;另一個(gè)辦法是通過(guò)設(shè)備予以解決。他指出,許多企業(yè)會(huì)將超大規(guī)模的軟件定義存儲(chǔ)與硬件、服務(wù)和支持捆綁在一起。
對(duì)于那些相信開(kāi)源商業(yè)故事的用戶來(lái)說(shuō),Ceph是一個(gè)不錯(cuò)的選擇。幫助客戶管理風(fēng)險(xiǎn)防范詐騙的美國(guó)預(yù)測(cè)分析公司FICO的云開(kāi)發(fā)主管Nick Gerasimatos說(shuō):“Ceph是我們常用的多用途對(duì)象存儲(chǔ)。我們也使用SolidFire全閃存陣列,但當(dāng)我們部署一個(gè)新應(yīng)用時(shí),我們會(huì)首先嘗試將它們部署在Ceph上,對(duì)它進(jìn)行負(fù)載測(cè)試,如果它能夠很好地工作,我們就會(huì)把應(yīng)用留在Ceph上。”
Gerasimatos表示,與之前的老舊基礎(chǔ)設(shè)施相比,轉(zhuǎn)向基于OpenStack和紅帽Ceph的云幫助FICO將產(chǎn)品上市時(shí)間縮短了50%,成本降低了30%。他還指出,基于OpenStack和紅帽Ceph的云還幫助FICO轉(zhuǎn)型成為SaaS和PaaS服務(wù)提供商,用戶可以使用FICO的工具和應(yīng)用,并且將它們內(nèi)置至他們自己的應(yīng)用和服務(wù)當(dāng)中。
Ceph是怎么成為OpenStack的寵兒的?
關(guān)鍵的功能包括可選擇在固態(tài)存儲(chǔ)中運(yùn)行Ceph的文件日志,以實(shí)現(xiàn)更好的性能,以及能夠?qū)崿F(xiàn)可控的滾動(dòng)升級(jí)。Gerasimatos說(shuō):“例如,我想先升級(jí)控制器,然后是后端,再然后是對(duì)象存儲(chǔ)設(shè)備(OSD)。我只需要在節(jié)點(diǎn)上設(shè)置一個(gè)標(biāo)記,它們會(huì)將數(shù)據(jù)導(dǎo)人至其他不需要升級(jí)的存儲(chǔ)上,隨后我就可以開(kāi)始升級(jí),接下來(lái)會(huì)依次類推。這樣就化解了整體升級(jí)所存在的危險(xiǎn)性。”
“Ceph是OpenStack的寵兒。與其他存儲(chǔ)層相比,使用它們的人更多。”他補(bǔ)充道,阻礙Ceph部署的一個(gè)障礙是在金融行業(yè)中許多公司仍然在使用老舊的存儲(chǔ)系統(tǒng)。
理論上這并不是一個(gè)問(wèn)題,因?yàn)檐浖x存儲(chǔ)的一個(gè)優(yōu)勢(shì)是它們獨(dú)立于硬件,然而實(shí)際的情況卻完全不同。他說(shuō):“將老舊硬件延續(xù)至Ceph中是有可能的,但是要移動(dòng)運(yùn)行的應(yīng)用實(shí)例卻非常困難。”
Gerasimatos指出,全閃存陣列和Ceph有著各自的優(yōu)缺點(diǎn)。例如,即便擁有SolidFire的內(nèi)置壓縮和數(shù)據(jù)重復(fù)刪除功能,我們也不想將龐大的數(shù)據(jù)集存儲(chǔ)在閃存上。相反,Ceph并不太適合事務(wù)繁重的數(shù)據(jù)庫(kù)工作,例如一個(gè)甲骨文應(yīng)用可以執(zhí)行100,000次插入和100,000次行刪除,或是擁有極耗帶寬應(yīng)用的情況。
在FICO通過(guò)紅帽部署了Ceph,以作為其大型Linux和OpenStack項(xiàng)目一部分之時(shí),DARZ(達(dá)姆施塔特?cái)?shù)據(jù)中心)采取了一個(gè)設(shè)備解決方案,采購(gòu)了基于Ceph的富士通Eternus CD10000存儲(chǔ)系統(tǒng)。DARZ是一家云服務(wù)提供商,該公司位于德國(guó)中央銀行曾經(jīng)選址的黑森州的金庫(kù)內(nèi),目前該公司正在德國(guó)云計(jì)算資源交易所(DBCE)的Marketplace中銷售存儲(chǔ)和基于OpenStack的服務(wù)。
DARZ的銷售與IT運(yùn)營(yíng)主管LarsGöbel解釋稱,他們的系統(tǒng)整合商Profi AG建議他們采取這一超大規(guī)模設(shè)備解決方案。不僅富士通的硬件在本地可以得到非常好的支持,而且Ceph軟件也允許他們能夠以相對(duì)較低的成本將存儲(chǔ)容量升級(jí)至數(shù)拍字節(jié),同時(shí)每個(gè)新節(jié)點(diǎn)在容量和性能上都會(huì)得到線性提升。此外,他們還能夠在區(qū)塊、文件或?qū)ο蟾袷椒矫嫣峁┐鎯?chǔ)。
富士通技術(shù)解決方案子公司負(fù)責(zé)存儲(chǔ)解決方案的高級(jí)產(chǎn)品營(yíng)銷主管Frank Reichart說(shuō):
“這是IT資源的完全商品化。如果該模式取得成功,那么高存儲(chǔ)成本的時(shí)代將會(huì)一去不復(fù)返。”
Göbel對(duì)CD10000和Ceph多客戶端功能尤為感到滿意,因?yàn)樗鼈兇_保了客戶的隔離性。“這一安全的強(qiáng)大基礎(chǔ)設(shè)施意味著我們能夠加入到DBCEMarketplace中,為我們的云服務(wù)打開(kāi)一個(gè)具有創(chuàng)新性的銷售渠道。”
隨著大量Ceph部署開(kāi)始成為OpenStack私有云項(xiàng)目中的一部分,紅帽的Sage Weil將這視為一個(gè)重大機(jī)遇就一點(diǎn)也不奇怪了。Weil說(shuō):“在OpenStack領(lǐng)域中我們擁有強(qiáng)大的推動(dòng)力,因此這對(duì)于我們來(lái)說(shuō)是一個(gè)重要的項(xiàng)目。據(jù)最新的用戶調(diào)查顯示,目前約有三分之二的OpenStack部署在使用Ceph RBD。這一數(shù)量是排名第二的LVM本地存儲(chǔ)選項(xiàng)的兩倍多。”RBD(即RADOS塊設(shè)備)允許Ceph被作為精簡(jiǎn)配置的塊存儲(chǔ)為虛擬機(jī)提供支持。
編者注:本文編譯自theregister.co.uk,作者為Bryan Betts,編譯者Frank Chan。
原文鏈接:https://www.ustack.com/news/open_source_hyperscale_storage/