主機(jī)無縫整合大數(shù)據(jù)“OLTAP”
主機(jī)經(jīng)過近40年的創(chuàng)新發(fā)展,將怎樣應(yīng)對(duì)已經(jīng)到來的大數(shù)據(jù)時(shí)代?在近日舉行的2013 IBM System z高峰論壇上,IBM系統(tǒng)與科技部主機(jī)產(chǎn)品部大中華區(qū)總經(jīng)理施東峰提出了“OLTAP”的概念以及主機(jī)應(yīng)對(duì)優(yōu)勢(shì),他表示:“在大數(shù)據(jù)時(shí)代,主機(jī)同樣是核心應(yīng)用平臺(tái),它可以在單一平臺(tái)上實(shí)現(xiàn)交易處理(OLTP)和決策分析支持(OLAP)的無縫整合(OLTAP)。”
大數(shù)據(jù)應(yīng)用分解
據(jù)相關(guān)機(jī)構(gòu)預(yù)測(cè),大數(shù)據(jù)同期增速為整體IT市場(chǎng)的四倍,服務(wù)器市場(chǎng)的五倍,高于同期的云計(jì)算市場(chǎng)。IBM預(yù)計(jì),2012~2017年主機(jī)平臺(tái)大數(shù)據(jù)年復(fù)合增長率將高達(dá)60%以上。那么,在Hadoop、分布式計(jì)算閃耀大數(shù)據(jù)市場(chǎng)的今天,主機(jī)的優(yōu)勢(shì)到底在哪里?
在IBM看來,大數(shù)據(jù)的應(yīng)用不僅僅是目前所知的適合分布式計(jì)算的信息獲取,信息的收集和管理僅僅是大數(shù)據(jù)的初級(jí)應(yīng)用階段。大數(shù)據(jù)應(yīng)當(dāng)分為信息獲取型、交易型和分析型三類,而大數(shù)據(jù)應(yīng)用的關(guān)鍵在于交易和分析:大數(shù)據(jù)不僅是信息檢索查詢等信息收集型應(yīng)用(僅占16.6%),交易型和分析型應(yīng)用(OLTAP)(占投入的83.4%)才是用戶實(shí)施大數(shù)據(jù)的最終目標(biāo)。未來,交易和分析型應(yīng)用的比重將持續(xù)上升,而這正是IBM主機(jī)的價(jià)值和優(yōu)勢(shì)所在。
這三種不同類型的大數(shù)據(jù)應(yīng)用分別適宜怎樣的計(jì)算平臺(tái)架構(gòu)呢?信息獲取型適宜分解的大數(shù)據(jù)應(yīng)用,它的需求特色是簡(jiǎn)單的數(shù)據(jù)處理,目標(biāo)以查詢?yōu)橹鳎邆溆幸?guī)律的訪問模式,I/O讀取能力相對(duì)重要,采用標(biāo)準(zhǔn)的集群模式;而交易型和分析型(OLTAP)不適宜分解的大數(shù)據(jù)應(yīng)用,它的需求特色是復(fù)雜的數(shù)據(jù)處理(如圖像處理),目標(biāo)是交易和分析,不規(guī)律的數(shù)據(jù)訪問,內(nèi)存和計(jì)算能力相對(duì)重要,強(qiáng)調(diào)單節(jié)點(diǎn)處理能力。因此,OLTAP類應(yīng)用所需的平臺(tái)與信息獲取型不同。
應(yīng)對(duì)大數(shù)據(jù)3V
對(duì)于大數(shù)據(jù)的“3V”特征——Volume(數(shù)據(jù)量規(guī)模龐大)、Variety(數(shù)據(jù)產(chǎn)生及存儲(chǔ)的多樣性)、Velocity(即時(shí)數(shù)據(jù)處理及分析的要求),IBM主機(jī)都可以應(yīng)對(duì)挑戰(zhàn):System z能夠憑借海量處理能力和強(qiáng)大的擴(kuò)展力,有效應(yīng)對(duì)海量數(shù)據(jù)帶來的挑戰(zhàn);超強(qiáng)的虛擬化能力和混合架構(gòu)體系幫助實(shí)現(xiàn)數(shù)據(jù)整合,有效降低數(shù)據(jù)多樣性帶來的數(shù)據(jù)分析復(fù)雜度;主機(jī)最新的DB2數(shù)據(jù)分析加速器(IDAA)及SPSS預(yù)測(cè)分析等技術(shù)幫助完成OLTAP類應(yīng)用,并能滿足實(shí)時(shí)業(yè)務(wù)分析的新需求。
大數(shù)據(jù)中的交易型數(shù)據(jù),需要即時(shí)、安全、可擴(kuò)展性和高可用的平臺(tái);而分析型數(shù)據(jù)則需要海量處理和實(shí)時(shí)分析數(shù)據(jù)的能力。從數(shù)據(jù)交易(OLTP)應(yīng)用來看,在單機(jī)環(huán)境下,主機(jī)具有最快的CPU主頻5.5GHz,單機(jī)可配置CPU 101顆,主機(jī)獨(dú)有的4級(jí)緩存架構(gòu)還可充分發(fā)揮高主頻CPU性能,單機(jī)處理能力高達(dá)78000MIPS(每秒處理百萬級(jí)的機(jī)器語言指令數(shù))。而在多機(jī)Parallel Sysplex系統(tǒng)綜合體環(huán)境下,主機(jī)具備高達(dá)32個(gè)節(jié)點(diǎn)的物理擴(kuò)展能力,獨(dú)有的耦合器設(shè)計(jì)保障最佳線路擴(kuò)展。誕生于1988年的硬件邏輯分區(qū)技術(shù),支持Z/OS、ZVM、ZLinux等多種多任務(wù)操作系統(tǒng),支持?jǐn)?shù)百上千的Linux鏡像,混合負(fù)載下典型利用率在85%以上,這些超強(qiáng)的虛擬化能力幫助主機(jī)實(shí)現(xiàn)高效負(fù)載和數(shù)據(jù)整合,而zEnterprise混合體系架構(gòu)通過支持不同處理器和包括ZOS、AIX、Linux、Windows多種主流的操作系統(tǒng),可實(shí)現(xiàn)異構(gòu)環(huán)境的整合。
尤其值得一提的是主機(jī)在數(shù)據(jù)分析應(yīng)用領(lǐng)域(OLAP)的技術(shù)創(chuàng)新。從傳統(tǒng)的商業(yè)智能向交易實(shí)時(shí)分析推進(jìn),用戶所面臨的技術(shù)挑戰(zhàn)是數(shù)據(jù)拷貝和移動(dòng)的需求,以及多平臺(tái)架構(gòu)共存導(dǎo)致的維護(hù)和管理的復(fù)雜性。主機(jī)的性能可以最大程度地減少數(shù)據(jù)拷貝和移動(dòng),統(tǒng)一平臺(tái)管理,降低復(fù)雜度。DB2數(shù)據(jù)分析加速器(IDAA)可以幫助主機(jī)實(shí)現(xiàn)OLTP和OLAP的高效無縫整合。IDAA基于成熟的PureData(Netezza)技術(shù),可以大幅降低復(fù)雜查詢的響應(yīng)時(shí)間,提高分析應(yīng)用的實(shí)時(shí)性,大幅降低數(shù)據(jù)移動(dòng)的需求,降低分析應(yīng)用的設(shè)計(jì)和開發(fā)復(fù)雜度。IDAA和DB2緊密集成,應(yīng)用更為透明,DB2可自動(dòng)調(diào)度。
此外,SPSS技術(shù)可以幫助主機(jī)在實(shí)現(xiàn)在線交易實(shí)時(shí)分析上更具優(yōu)勢(shì),SPSS自定義函數(shù)可實(shí)現(xiàn)按需調(diào)用。有了高端的主機(jī)硬件架構(gòu)和最新的軟件技術(shù),在大數(shù)據(jù)時(shí)代,主機(jī)依然通過創(chuàng)新保持核心平臺(tái)的地位。