應(yīng)對(duì)海量數(shù)據(jù) Oracle數(shù)據(jù)庫(kù)機(jī)青睞至強(qiáng)

作者：胡銘婭 2011-06-03 09:22:04

數(shù)據(jù)庫(kù) Oracle 數(shù)據(jù)庫(kù)運(yùn)維

隨著企業(yè)業(yè)務(wù)的發(fā)展，大型數(shù)據(jù)倉(cāng)庫(kù)越來(lái)越多，其規(guī)模也在迅速擴(kuò)大，平均每?jī)赡暌?guī)模增大3倍。大型數(shù)據(jù)倉(cāng)庫(kù)要求以最高的磁盤(pán)讀取速度掃描幾十、幾百或幾千個(gè)磁盤(pán)，所以企業(yè)常常發(fā)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)越大，運(yùn)行速度就越慢。

Oracle Exadata數(shù)據(jù)庫(kù)機(jī)，也叫“數(shù)據(jù)庫(kù)云服務(wù)器”，正是從緩解類(lèi)似難題入手，通過(guò)高度的數(shù)據(jù)壓縮比和海量數(shù)據(jù)的Flash Cache緩存等技術(shù)，滿(mǎn)足高端用戶(hù)一直面對(duì)的數(shù)據(jù)量持續(xù)增長(zhǎng)的IO壓力和存儲(chǔ)壓力。此前Oracle 的CEO Larry Ellison曾宣稱(chēng)，數(shù)據(jù)庫(kù)機(jī)是Oracle近30年歷史上最重要的產(chǎn)品。

[[31639]]

▲使用英特爾至強(qiáng)處理器的Oracle Exadata數(shù)據(jù)庫(kù)機(jī)

下面我們將以O(shè)racle Exadata數(shù)據(jù)庫(kù)機(jī)為例，從性能、可用性、可擴(kuò)展性、投資成本等多角度來(lái)分析x86平臺(tái)對(duì)于數(shù)據(jù)倉(cāng)庫(kù)、OLTP、數(shù)據(jù)庫(kù)混合負(fù)載等企業(yè)級(jí)關(guān)鍵業(yè)務(wù)應(yīng)用的價(jià)值所在。

#p#

打破數(shù)據(jù)庫(kù)應(yīng)用I/O瓶頸

我們知道，服務(wù)器從內(nèi)到外的數(shù)據(jù)傳輸過(guò)程要經(jīng)過(guò)“CPU—緩存—內(nèi)存—內(nèi)部存儲(chǔ)—外部存儲(chǔ)”等環(huán)節(jié)。對(duì)于傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用來(lái)說(shuō)，大量數(shù)據(jù)需要從存儲(chǔ)系統(tǒng)讀取到服務(wù)器內(nèi)存，是其最大的瓶頸所在。為了打破這一瓶頸，“減少數(shù)據(jù)傳輸量、增加I/O通道、提高I/O帶寬”是通常需要考慮的方法，Oracle Exadata正是從這三個(gè)方面著手解決問(wèn)題。

首先我們來(lái)看一下，Oracle Exadata是一臺(tái)什么樣的機(jī)器。

據(jù)了解，Oracle Exadata數(shù)據(jù)庫(kù)機(jī)(數(shù)據(jù)庫(kù)云服務(wù)器)主要針對(duì)在線事務(wù)處理 (OLTP)、數(shù)據(jù)倉(cāng)庫(kù) (DW) 和混合工作負(fù)載整合在內(nèi)的所有數(shù)據(jù)庫(kù)應(yīng)用環(huán)境，把數(shù)據(jù)庫(kù)服務(wù)器、存儲(chǔ)服務(wù)器、InfiniBand交換機(jī)、以太網(wǎng)交換機(jī)、KVM、電源等模塊在出廠時(shí)就在機(jī)柜中配置好，并經(jīng)過(guò)嚴(yán)格測(cè)試。用戶(hù)拿到機(jī)器之后即可使用Oracle數(shù)據(jù)庫(kù)11g、存儲(chǔ)管理等軟件，不必再重新進(jìn)行服務(wù)器、存儲(chǔ)的配置。以一個(gè)機(jī)柜的滿(mǎn)配置來(lái)看，Oracle數(shù)據(jù)庫(kù)機(jī)擁有8臺(tái)基于英特爾至強(qiáng)7500的數(shù)據(jù)庫(kù)服務(wù)器和14臺(tái)存儲(chǔ)服務(wù)器，總存儲(chǔ)容量可以達(dá)到100TB，IOPS可以達(dá)到每秒100萬(wàn)次I/O操作。根據(jù)企業(yè)業(yè)務(wù)量的規(guī)模不同，可以從1/4機(jī)柜擴(kuò)展到8個(gè)整機(jī)柜，最大可以管理到多個(gè)PB級(jí)數(shù)據(jù)庫(kù)。下圖顯示的是每二版Exadata系統(tǒng)的架構(gòu)：

針對(duì)上面提到的I/O瓶頸問(wèn)題，Oracle Exadata將應(yīng)用進(jìn)行分隔運(yùn)行，讓計(jì)算和內(nèi)存密集型的數(shù)據(jù)處理類(lèi)應(yīng)用在數(shù)據(jù)庫(kù)服務(wù)器上執(zhí)行，而讓I/O密集型的搜索類(lèi)應(yīng)用直接在存儲(chǔ)服務(wù)器上執(zhí)行。在這一理念指導(dǎo)下，Oracle在存儲(chǔ)服務(wù)器上，通過(guò)智能掃描SmartScan、混合型列壓縮技術(shù)、自動(dòng)透明的存儲(chǔ)索引、數(shù)據(jù)挖掘模型評(píng)價(jià)等技術(shù)，在存儲(chǔ)端就實(shí)現(xiàn)數(shù)據(jù)密集型的處理，從而可以將發(fā)送到數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)量減少10倍。而傳統(tǒng)的做法是，全部的數(shù)據(jù)庫(kù)只能存在于數(shù)據(jù)庫(kù)主機(jī)，來(lái)源于存儲(chǔ)端的數(shù)據(jù)大部分會(huì)被數(shù)據(jù)庫(kù)主機(jī)所丟棄，而這些大量的廢棄數(shù)據(jù)會(huì)占用寶貴的數(shù)據(jù)庫(kù)主機(jī)資源，如I/O、CPU、內(nèi)存等，進(jìn)而嚴(yán)重影響其它任務(wù)的執(zhí)行，處理變得緩慢。

▲Smart Scan技術(shù)讓搜索在存儲(chǔ)端進(jìn)行

另外，Oracle Exadata通過(guò)模塊化設(shè)計(jì)，在通過(guò)增加存儲(chǔ)單元時(shí)，提高整機(jī)的數(shù)據(jù)吞吐量;并采用每秒40Gb的InfiniBand做系統(tǒng)內(nèi)部互連，其帶寬比傳統(tǒng)的光纖通道要快10倍。正是通過(guò)一系列技術(shù)創(chuàng)新，Exadata系統(tǒng)化地解決了數(shù)據(jù)庫(kù)應(yīng)用中讓人頭疼的存儲(chǔ)I/O瓶頸問(wèn)題。

#p#

PK傳統(tǒng)SMP小型機(jī)

以往，針對(duì)大規(guī)模的數(shù)據(jù)庫(kù)類(lèi)應(yīng)用需求，一些用戶(hù)通過(guò)基于SMP架構(gòu)的小型機(jī)來(lái)滿(mǎn)足。這些小型機(jī)可以支持多顆CPU，實(shí)現(xiàn)從2路到4路、8路、16路，直至256路的縱向擴(kuò)展(Scale-up)，即在一個(gè)機(jī)箱里增加更多的CPU、內(nèi)存和I/O等資源。

從SMP的系統(tǒng)架構(gòu)來(lái)看，其最大的優(yōu)勢(shì)在于共享內(nèi)存，對(duì)內(nèi)存統(tǒng)一編址。但也正是這一點(diǎn)為SMP的發(fā)展帶來(lái)很大障礙，因?yàn)楣蚕韮?nèi)存資源必然引起資源沖突。換言之，要保持SMP系統(tǒng)從2路到256路的線性或接近于線性增長(zhǎng)，其SMP架構(gòu)下的系統(tǒng)總線、高速總線等同樣需要線性增長(zhǎng)，但技術(shù)實(shí)現(xiàn)難度很大，也會(huì)導(dǎo)致設(shè)計(jì)和制造成本不斷攀升。

總的來(lái)看，目前大型SMP系統(tǒng)主要存在四個(gè)瓶頸：首先是價(jià)格昂貴，單一系統(tǒng)動(dòng)輒數(shù)萬(wàn)美元乃至數(shù)十萬(wàn)美元，如果用雙機(jī)方案，成本就得翻倍;其二是系統(tǒng)擴(kuò)展性較差，單一系統(tǒng)最多256顆CPU，而模向擴(kuò)展又受制于高昂的投資成本;其三是存在技術(shù)瓶頸，單獨(dú)依靠SMP難以提高計(jì)算機(jī)整體性能，尤其是越來(lái)越重的I/O需求;其四是系統(tǒng)兼容性差，每種系統(tǒng)自成體系，與其他廠家的產(chǎn)品難以兼容。

因此，對(duì)于要求更加苛刻的環(huán)境，比如大企業(yè)不間斷運(yùn)行、負(fù)載很重的大型數(shù)據(jù)庫(kù)，相對(duì)于傳統(tǒng)SMP小型機(jī)，許多廠商和用戶(hù)都開(kāi)始青睞更加靈活高效的x86服務(wù)器集群系統(tǒng)(Scale-out，橫向擴(kuò)展)，如Oracle Exadata數(shù)據(jù)庫(kù)機(jī)，因?yàn)榧杭夹g(shù)允許使用低成本的服務(wù)器來(lái)構(gòu)造具有高可伸縮性和高可用性的高性能系統(tǒng)。

下面我們就來(lái)比較一下Oracle Exadata與傳統(tǒng)SMP小型機(jī)的具體差異：

在性能方面，通過(guò)一系列智能存儲(chǔ)技術(shù)，Oracle的數(shù)據(jù)庫(kù)機(jī)可以大大提高數(shù)據(jù)處理的性能，其大型OLAP及OLTP業(yè)務(wù)處理性能是傳統(tǒng)解決方案的幾十倍至數(shù)百倍。

在可擴(kuò)展性方面，通過(guò)將縱向擴(kuò)展和橫向擴(kuò)展兩種方式相結(jié)合，Oracle數(shù)據(jù)庫(kù)機(jī)可以更加靈活地滿(mǎn)足業(yè)務(wù)發(fā)展的需求。通過(guò)導(dǎo)線和外部InfiniBand交換機(jī)可以擴(kuò)展至更多機(jī)柜，達(dá)到數(shù)百個(gè)存儲(chǔ)服務(wù)器、數(shù)PB容量數(shù)據(jù)庫(kù)。

在成本上，通過(guò)采用基于英特爾至強(qiáng)的x86服務(wù)器和存儲(chǔ)系統(tǒng)等通用組件，使得Oracle數(shù)據(jù)庫(kù)機(jī)的總擁有成本大大降低。跟使用SMP小型機(jī)和專(zhuān)有存儲(chǔ)陣列的方案相比，其硬件成本只有1/6，總體成本不到小機(jī)的一半。

在易用性上，傳統(tǒng)SMP小型機(jī)在部署起來(lái)比較麻煩，需要針對(duì)服務(wù)器、存儲(chǔ)、操作系統(tǒng)和數(shù)據(jù)庫(kù)需要分別進(jìn)行配置，費(fèi)時(shí)費(fèi)力。而Exadata是軟硬一體化的產(chǎn)品，包含了操作系統(tǒng)、數(shù)據(jù)庫(kù)和服務(wù)器、存儲(chǔ)等，因此部署極為簡(jiǎn)單，號(hào)稱(chēng)即插即用。

需要特別強(qiáng)調(diào)的是高可用性。從至強(qiáng)7500開(kāi)始，X86系統(tǒng)的RAS特性已經(jīng)提高到了一個(gè)全新的水平，這些技術(shù)多達(dá)22條，集中解決三個(gè)方面的問(wèn)題：一是數(shù)據(jù)保護(hù)，可以診斷哪些數(shù)據(jù)出錯(cuò)，利用CRC、ECC校驗(yàn)來(lái)糾正錯(cuò)誤，如果不能糾正，可以把這些壞的數(shù)據(jù)進(jìn)行隔離，以保證不影響其他數(shù)據(jù)，避免系統(tǒng)的重啟和宕機(jī)。二是高可用設(shè)計(jì)，包括QPI Link之間的互備和熱切換，內(nèi)存和CPU的熱切換、故障預(yù)警機(jī)制等等，以保證系統(tǒng)的高可用。三是降低系統(tǒng)計(jì)劃內(nèi)的宕機(jī)時(shí)間，包括系統(tǒng)分區(qū)管理技術(shù)、CPU和內(nèi)存的熱添加和熱移除等。

此外，Oracle數(shù)據(jù)庫(kù)機(jī)還通過(guò)冗余電源、冗余交換機(jī)、數(shù)據(jù)庫(kù)文件鏡像、數(shù)據(jù)庫(kù)集群、備份等多種技術(shù)，來(lái)提高系統(tǒng)的整體可用性。

#p#

小結(jié)：技術(shù)與應(yīng)用的雙重驅(qū)動(dòng)

Oracle數(shù)據(jù)庫(kù)機(jī)的出現(xiàn)，在一定程度上反映了這樣一個(gè)道理：IT產(chǎn)業(yè)的發(fā)展離不開(kāi)技術(shù)與應(yīng)用的雙重驅(qū)動(dòng)力。在不同階段，這兩個(gè)驅(qū)動(dòng)力的作用可能不太一樣，但只有相互結(jié)合，才能更好、更快地促進(jìn)產(chǎn)業(yè)發(fā)展。數(shù)據(jù)庫(kù)機(jī)正是如此，一方面，數(shù)據(jù)倉(cāng)庫(kù)、商業(yè)智能、大型ERP等應(yīng)用需要有更好的技術(shù)來(lái)應(yīng)對(duì)海量數(shù)據(jù)的挑戰(zhàn)，另一方面，x86服務(wù)器、智能存儲(chǔ)、數(shù)據(jù)庫(kù)軟件等技術(shù)層面的進(jìn)步也使得今天業(yè)界有能力來(lái)更高效地應(yīng)對(duì)這些挑戰(zhàn)。據(jù)了解， Oracle Exadata的客戶(hù)已經(jīng)涵蓋金融服務(wù)、保險(xiǎn)、電信及制造業(yè)等領(lǐng)域，包括深圳聯(lián)合金融服務(wù)集團(tuán)有限公司、海爾、中冶，中國(guó)人壽、青島市社保、新疆電信、北京移動(dòng)、遼寧移動(dòng)、中遠(yuǎn)集運(yùn)等。

隨著云計(jì)算的發(fā)展，Oracle的數(shù)據(jù)庫(kù)機(jī)也在向云方向轉(zhuǎn)變，于是我們最近聽(tīng)到了一個(gè)新的名字：Oracle數(shù)據(jù)庫(kù)云服務(wù)器。在Oracle看來(lái)，除了IaaS、PaaS、SaaS之外，數(shù)據(jù)庫(kù)也是一種服務(wù)，即DB as a Service(DBaaS)。因?yàn)橹挥邪褦?shù)據(jù)變成有用的信息，通過(guò)數(shù)據(jù)挖掘、商業(yè)智能系統(tǒng)顯現(xiàn)出來(lái)，變成企業(yè)的決策與行動(dòng)，數(shù)據(jù)才能真正轉(zhuǎn)化成企業(yè)的核心競(jìng)爭(zhēng)力。因此，我們有理由相信，Oracle的數(shù)據(jù)庫(kù)云服務(wù)器還只是一個(gè)開(kāi)端，云時(shí)代才剛剛開(kāi)始。

【編輯推薦】