[[390095]]

【51CTO.com快譯】過(guò)去這幾年，數(shù)據(jù)的創(chuàng)建和使用方式出現(xiàn)了一個(gè)微妙但明顯的趨勢(shì)。據(jù)IDC聲稱：“全球數(shù)據(jù)總量將從2018年的33 ZB猛增到2025年的175ZB，年復(fù)合增長(zhǎng)率高達(dá)61%。”這在改變數(shù)據(jù)處理和分析方面的基本規(guī)則。

這個(gè)數(shù)據(jù)趨勢(shì)在為以前未重視的一系列新的用例(use case)鋪平道路，還在改變處理和使用一些現(xiàn)有用例的方式，這反過(guò)來(lái)需要一種新穎的、更現(xiàn)代的方法來(lái)適應(yīng)這些場(chǎng)景。比如說(shuō)，可以將來(lái)自許多不同數(shù)據(jù)源的不同數(shù)據(jù)集(比如圖像、文本、語(yǔ)音或視頻)實(shí)時(shí)部分或全部組合起來(lái)，以支持可能全面改變我們?nèi)粘Ｉ詈蜆I(yè)務(wù)方式的用例。

我們今天面臨的挑戰(zhàn)

由于這方面的步伐很快，我們無(wú)法輕松處理。市面上的大多數(shù)現(xiàn)有系統(tǒng)和平臺(tái)主要是為特定類型的數(shù)據(jù)(創(chuàng)建這些工具時(shí))設(shè)計(jì)的(理應(yīng)如此)。然而，正如我們所見(jiàn)，由于當(dāng)前的最新趨勢(shì)，數(shù)據(jù)的形狀和大小在發(fā)生變化，因此數(shù)據(jù)創(chuàng)建和使用方面的基本前提不再適用。因此，現(xiàn)有基礎(chǔ)架構(gòu)的要求與支持存在不匹配的情況就可以理解了。

我們需要一種專門為這個(gè)趨勢(shì)而開(kāi)發(fā)的新方法，以適應(yīng)和迎合事關(guān)大多數(shù)公司存活的一系列新用例。集成不同異構(gòu)工具以創(chuàng)建一種同構(gòu)解決方案框架所采用的通常方法根本行不通。

融合不同維度

如果您仔細(xì)觀察一下，會(huì)發(fā)現(xiàn)不同的問(wèn)題空間(problem space)正在核心處融合。比如說(shuō)，為了完成監(jiān)控常規(guī)操作這項(xiàng)簡(jiǎn)單工作，我們需要實(shí)時(shí)攝取和處理文本和語(yǔ)音等各種數(shù)據(jù)(數(shù)據(jù)流)，在本地(邊緣或設(shè)備內(nèi))和云層面都要有預(yù)測(cè)性(AI)。由于進(jìn)行這種操作的速度和規(guī)模，幾乎不可能使用孤立的或“拼湊而成”的平臺(tái)。這種平臺(tái)根本無(wú)法擴(kuò)展。

這是我們需要處理的第一個(gè)核心問(wèn)題。

我們還必須融合來(lái)自解決方案空間的所有參與維度，以應(yīng)對(duì)我們目前面臨的不同挑戰(zhàn)的這種大融合，這個(gè)問(wèn)題會(huì)變得越來(lái)越重大、越難處理。我們必須打破孤島，創(chuàng)建一個(gè)融合的架構(gòu)空間，然后該架構(gòu)空間應(yīng)該線性擴(kuò)大，以匹配數(shù)據(jù)的速度和數(shù)量。

融合解決方案空間中不同維度的這種做法將提供直接集成和支持不同格式數(shù)據(jù)的方式。高級(jí)抽象將為處理各種數(shù)據(jù)提供一致的接口。數(shù)據(jù)流和人工智能的融合可以以一種絕對(duì)和預(yù)測(cè)性的方式持續(xù)處理數(shù)據(jù)。直接集成將使用戶可以完全控制系統(tǒng)所獲取和處理的每個(gè)字節(jié)，這將縮短延遲以實(shí)現(xiàn)高速精密處理。數(shù)據(jù)流處理將確保實(shí)時(shí)地持續(xù)聚合、運(yùn)行統(tǒng)計(jì)、事件預(yù)測(cè)及相關(guān)操作。

這種融合優(yōu)先的方法還將便于實(shí)現(xiàn)系統(tǒng)的真正線性擴(kuò)展。如果是孤立的架構(gòu)，我們發(fā)現(xiàn)針對(duì)不同的垂直領(lǐng)域一起擴(kuò)展總是極其困難，也無(wú)法進(jìn)一步完全利用資源。但是借助融合，我們不需要費(fèi)心地?cái)U(kuò)展單個(gè)維度，資源利用率很高肯定隨之而來(lái)。

進(jìn)一步的孤立(半孤立)架構(gòu)迫使太多的網(wǎng)絡(luò)跳數(shù)以及太多的數(shù)據(jù)副本。在這種場(chǎng)景下，即使處理效率很高，這種架構(gòu)也無(wú)法實(shí)現(xiàn)低延遲(或高速度)。我們需要盡量減少網(wǎng)絡(luò)跳數(shù)和數(shù)據(jù)復(fù)制。通過(guò)融合，我們可以盡量減少網(wǎng)絡(luò)跳數(shù)和數(shù)據(jù)復(fù)制，從而提升性能。

結(jié)論

各種數(shù)據(jù)迅速爆炸以及突然需要實(shí)時(shí)捕獲和分析所有這些數(shù)據(jù)，迫使我們擺脫特定系統(tǒng)傳統(tǒng)的分散綜合架構(gòu)。我們需要采用計(jì)算模型的直接融合的可擴(kuò)展單元，不僅應(yīng)對(duì)當(dāng)前情形，還可以在未來(lái)幾年保持創(chuàng)新、市場(chǎng)上立于不敗之地。

原文標(biāo)題：Why A Novel Data Processing Philosophy Is Necessary For An Emerging Data Trend，作者：Sachin Sinha

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文譯者和出處為51CTO.com】