最近，IT行業(yè)專家在參加相關(guān)會(huì)議時(shí)發(fā)現(xiàn)了一個(gè)隱藏的主題，那就是雖然很多人將關(guān)注的重點(diǎn)轉(zhuǎn)移到基于云計(jì)算的架構(gòu)(混合云)以及所需要的云管理平臺(tái)，但會(huì)議的報(bào)告表明，很多人都承認(rèn)并沒有密切關(guān)注全球數(shù)字?jǐn)?shù)據(jù)量的巨大增長(zhǎng)。

存儲(chǔ)供應(yīng)商PureStorage公司的演講報(bào)告引用了其他兩家供應(yīng)商的兩個(gè)數(shù)據(jù)點(diǎn)：首先，思科公司2017年6月發(fā)布的白皮書“Zettabyte時(shí)代：趨勢(shì)與分析”推斷了互聯(lián)網(wǎng)帶寬的增長(zhǎng)。其次是由希捷公司委托IDC公司進(jìn)行研究的調(diào)查報(bào)告“數(shù)據(jù)時(shí)代2025”推測(cè)了全球數(shù)據(jù)增長(zhǎng)的趨勢(shì)。PureStorage公司結(jié)合了這兩家公司的推斷，得出了結(jié)論。如下圖所示。

PureStorage公司的報(bào)告描述了全球數(shù)據(jù)增長(zhǎng)和全球互聯(lián)網(wǎng)帶寬增長(zhǎng)之間的沖突

如果這些趨勢(shì)成為現(xiàn)實(shí)，并且有足夠的理由認(rèn)為這些預(yù)測(cè)是合理的，那么這些趨勢(shì)將在未來幾年對(duì)計(jì)算和數(shù)據(jù)格局產(chǎn)生重大影響。并將對(duì)云計(jì)算的應(yīng)用產(chǎn)生特別的影響。注意：云計(jì)算是真實(shí)的，將成為未來IT環(huán)境的重要組成部分，但是IT部門認(rèn)為它是一種靈丹妙藥這種簡(jiǎn)單化的想法，會(huì)讓人想起當(dāng)初網(wǎng)絡(luò)熱潮的破滅。而人們知道將會(huì)有什么樣的結(jié)果。

不能回避的問題

無論如何，所有IT都有兩個(gè)核心要素：數(shù)據(jù)與數(shù)據(jù)的邏輯。每個(gè)使用大數(shù)據(jù)的人都知道：要使用大量的數(shù)據(jù)，首先需要對(duì)數(shù)據(jù)進(jìn)行處理，而其處理都會(huì)產(chǎn)生一個(gè)傳輸瓶頸，并嚴(yán)重影響其性能，并且這種邏輯的任何功能都變成純粹的理論。

即使有少量的數(shù)據(jù)，這也可能是因?yàn)檠舆t而發(fā)生。例如，企業(yè)將其應(yīng)用程序服務(wù)器遷移到云端，同時(shí)將數(shù)據(jù)庫服務(wù)器保留在本地，這可能在理論上可行，但是當(dāng)應(yīng)用程序?qū)?shù)據(jù)庫與數(shù)據(jù)庫之間的網(wǎng)絡(luò)延遲敏感時(shí)，就根本不起作用。對(duì)于少量的數(shù)據(jù)來說，情況就是如此。這就是為什么許多組織都在嘗試調(diào)整軟件的原因，使其對(duì)延遲的敏感度降低，從而能夠進(jìn)入云端。但是，如果數(shù)據(jù)量很大，則需要將數(shù)據(jù)處理和數(shù)據(jù)彼此靠近，否則就無法工作。企業(yè)增加對(duì)大量并行性的需求來處理這些數(shù)據(jù)，并獲得Hadoop和其他處理大量數(shù)據(jù)問題的體系結(jié)構(gòu)。

現(xiàn)在，全球的數(shù)據(jù)量呈指數(shù)增長(zhǎng)。如果IDC公司的推測(cè)成為事實(shí)的話，那么在幾年的時(shí)間里，全世界將存儲(chǔ)大約50ZB的數(shù)據(jù)。另一方面，雖然互聯(lián)網(wǎng)傳輸數(shù)據(jù)的總?cè)萘恳苍谠鲩L(zhǎng)，但增長(zhǎng)速度更為緩慢。在全球數(shù)據(jù)量增長(zhǎng)到50ZB的同一時(shí)期，互聯(lián)網(wǎng)總帶寬將達(dá)到每年2.5ZB(如果思科的推斷成為事實(shí)的話)。

從這兩個(gè)推斷(并不是不合理的)中得出的結(jié)論是，全球可用的互聯(lián)網(wǎng)帶寬遠(yuǎn)遠(yuǎn)不能滿足移動(dòng)大量數(shù)據(jù)的需求。而且這也忽略了目前大約80%的帶寬用于流媒體視頻的事實(shí)。因此，即使企業(yè)已經(jīng)針對(duì)核心應(yīng)用程序中的延遲問題編寫了代碼，對(duì)于數(shù)據(jù)量較大的情況，也會(huì)出現(xiàn)帶寬問題。

現(xiàn)在這個(gè)隱患實(shí)際上成為了一個(gè)問題嗎?如果處理或使用這些數(shù)據(jù)在本地部署的數(shù)據(jù)中心發(fā)生的話，也就是說在同一個(gè)數(shù)據(jù)中心中存儲(chǔ)數(shù)據(jù)。但是，一方面，數(shù)據(jù)量呈指數(shù)增長(zhǎng)，另一方面，全球各行業(yè)也在積極尋求云戰(zhàn)略，就是把將所有類型的工作負(fù)載都遷移到云端，即使是“無服務(wù)器”(例如，AWS Lambda)，這樣的做法也是絕對(duì)極端的。

假設(shè)只有小規(guī)模的結(jié)果(從龐大的數(shù)據(jù)集中計(jì)算出來)也許會(huì)有所幫助，因?yàn)榇罅繑?shù)據(jù)的實(shí)際價(jià)值來自它們的結(jié)合。這可能意味著將來自不同所有者的數(shù)據(jù)(例如企業(yè)的客戶記錄與來自Twitter的數(shù)據(jù))結(jié)合起來。而這所有不同的集合將會(huì)成為一個(gè)難題。

所以，人們看到的是兩個(gè)相反的事態(tài)發(fā)展。一方面，人們都忙于適應(yīng)基于云的體系結(jié)構(gòu)，這種體系結(jié)構(gòu)最終是基于分布式數(shù)據(jù)的分布式處理。另一方面，人們使用的數(shù)據(jù)量越來越大，必須將數(shù)據(jù)和處理整合到一個(gè)物理位置。

那么這意味著什么?

人們可以預(yù)期，Hadoop在應(yīng)用程序架構(gòu)層面所做的工作也將在全球范圍內(nèi)發(fā)生：龐大的數(shù)據(jù)集將成為使數(shù)據(jù)的邏輯具有意義的吸引力。而那些龐大的數(shù)據(jù)集將會(huì)被吸引到一起。

舉個(gè)例子：許多公司現(xiàn)在都在努力減少移動(dòng)數(shù)據(jù)的需求。因此，在物聯(lián)網(wǎng)領(lǐng)域有很多關(guān)于邊緣計(jì)算的討論：本地處理傳感器和其他物聯(lián)網(wǎng)設(shè)備的數(shù)據(jù)。當(dāng)然，這也意味著處理過程也必須是本地化的，可以放心地假設(shè)一下，企業(yè)不會(huì)在一組傳感器中擁有同樣的計(jì)算能力，而不是在大分析中可以做到的設(shè)置。或者：也許自主駕駛汽車的數(shù)據(jù)很可能不會(huì)再采用Hadoop集群，而可以通過這種方式來最小化數(shù)據(jù)流量，但以計(jì)算量為代價(jià)。

這個(gè)問題還有另一個(gè)解決方案：與數(shù)據(jù)中心結(jié)合在一起。數(shù)據(jù)中心托管提供商提供的服務(wù)正在崛起。他們提供具有優(yōu)化內(nèi)部流量功能的大型數(shù)據(jù)中心，云計(jì)算提供商和大型云用戶的服務(wù)器都在一起。從邏輯上講，用戶的業(yè)務(wù)可能在云端，但實(shí)際上與云計(jì)算服務(wù)提供商在同一處所。

企業(yè)不僅想在AWS或Azure上運(yùn)行其邏輯數(shù)據(jù)，也想在數(shù)據(jù)中心這樣做，企業(yè)也有自己的私有數(shù)據(jù)湖，所以所有的數(shù)據(jù)都在本地處理，數(shù)據(jù)聚合也在本地。但是數(shù)據(jù)中心托管模式是另一種可能的解決方案，用于解決因數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)而帶來的帶寬和延遲問題。

情況可能不像那兩個(gè)調(diào)查報(bào)告描述的那樣可怕。例如，所有數(shù)據(jù)的實(shí)際平均波動(dòng)率最終將非常低。另一方面，企業(yè)不希望在陳舊的數(shù)據(jù)上運(yùn)行分析。但是可以得出一個(gè)結(jié)論：簡(jiǎn)單地假設(shè)企業(yè)可以將其工作負(fù)載分配給不同的云提供商是有風(fēng)險(xiǎn)的，尤其是如果同時(shí)處理的數(shù)據(jù)量(如果企業(yè)都想把他們自己的數(shù)據(jù)與來自Twitter、Facebook的數(shù)據(jù)流結(jié)合起來，那么更不用說這些組合產(chǎn)生了各種各樣的新數(shù)據(jù)流)。

因此，企業(yè)對(duì)數(shù)據(jù)和處理的位置做出良好的戰(zhàn)略設(shè)計(jì)決策是成功的關(guān)鍵。