如今，大數(shù)據(jù)分析市場與幾年前相比已經(jīng)截然不同。而在未來十年，全球各行各業(yè)都將發(fā)生變革、創(chuàng)新和顛覆。 

[[222755]]

在日前發(fā)布的2017年度市場研究報(bào)告中，SiliconAngle Media公司的Wikibon分析團(tuán)隊(duì)發(fā)現(xiàn)，2017年的全球大數(shù)據(jù)分析市場規(guī)模比前一年增長了24.5%.這比前一年的報(bào)告中預(yù)測的增長得更快，這主要是由于公共云的部署和利用好于人們的預(yù)期，以及云計(jì)算的平臺、工具和其他解決方案都在加速融合。此外，企業(yè)正在通過大數(shù)據(jù)分析更快速地脫離實(shí)驗(yàn)和驗(yàn)證階段，并從部署中獲得更高的業(yè)務(wù)價值。

展望未來，Wikibon團(tuán)隊(duì)預(yù)測，2027年全球大數(shù)據(jù)分析市場的年增長率將以11%的速度增長，將達(dá)到1030億美元。通過在物聯(lián)網(wǎng)(IoT)、移動性和其他邊緣計(jì)算用例中采用大數(shù)據(jù)分析技術(shù)，大部分市場可以保持未來幾年的增長。

未來十年大數(shù)據(jù)分析發(fā)展的主要趨勢

正如Wikibon團(tuán)隊(duì)的研究證實(shí)的那樣，未來十年將推動大數(shù)據(jù)分析行業(yè)發(fā)展的主要趨勢如下：

公共云提供商正在擴(kuò)大其影響力。大數(shù)據(jù)行業(yè)正圍繞全球三大主要公共云提供商亞馬遜網(wǎng)絡(luò)服務(wù)、微軟Azure和谷歌云平臺提供相應(yīng)的產(chǎn)品和服務(wù)，而大多數(shù)軟件供應(yīng)商也在構(gòu)建解決方案。這些和其他大數(shù)據(jù)公共云提供商(包括像IBM和Oracle這樣已進(jìn)入行業(yè)的大數(shù)據(jù)供應(yīng)商)正在提供托管的IaaS和PaaS數(shù)據(jù)湖，鼓勵客戶和合作伙伴開發(fā)新的應(yīng)用程序，并幫助客戶遷移遺留應(yīng)用程序。其結(jié)果是，純粹的數(shù)據(jù)平臺和NoSQL供應(yīng)商似乎發(fā)展比較平淡，日益被多元化的公共云提供商統(tǒng)治的大型數(shù)據(jù)領(lǐng)域所邊緣化。

與私有云相比，公共云的優(yōu)勢繼續(xù)擴(kuò)大。公共云正在成為每個客戶細(xì)分領(lǐng)域首選的大數(shù)據(jù)分析平臺。這是因?yàn)楣苍平鉀Q方案比內(nèi)部部署堆棧更為成熟，增加了更豐富的功能，而且擁有成本日益增加。公共云正在開發(fā)其應(yīng)用程序編程接口生態(tài)系統(tǒng)，并加快他們的管理工具的速度，超過了為內(nèi)部部署而設(shè)計(jì)的大數(shù)據(jù)分析解決方案。

混合云正在成為企業(yè)大數(shù)據(jù)的過渡站點(diǎn)，以便在公共云中實(shí)現(xiàn)更全面的部署。混合云是大多數(shù)大型企業(yè)的大數(shù)據(jù)計(jì)劃，但主要是作為一種過渡戰(zhàn)略。這是因?yàn)樘炱秸谙蚱髽I(yè)傾斜，將更多的大數(shù)據(jù)資產(chǎn)放在公共云上。認(rèn)識到這一趨勢，傳統(tǒng)大數(shù)據(jù)供應(yīng)商正在針對混合使用案例優(yōu)化其產(chǎn)品。出于同樣的原因，基于內(nèi)部部署數(shù)據(jù)中心的大數(shù)據(jù)平臺正在重建架構(gòu)，希望部署在公共云中。

基于云計(jì)算的大數(shù)據(jù)孤島融合正在加快企業(yè)實(shí)現(xiàn)價值的速度。用戶開始加快將孤立的大數(shù)據(jù)資產(chǎn)整合到公共云中的速度。公共云提供商的主導(dǎo)地位正在瓦解困擾企業(yè)私有大數(shù)據(jù)架構(gòu)的跨業(yè)務(wù)孤島。同樣重要的是，基于云計(jì)算和基于內(nèi)部部署的大數(shù)據(jù)解決方案正融合到集成產(chǎn)品中，旨在降低復(fù)雜性，并加快實(shí)現(xiàn)價值的速度。更多解決方案提供商正在提供標(biāo)準(zhǔn)化的API，以簡化訪問，加速開發(fā)，并在整個大數(shù)據(jù)解決方案堆棧中實(shí)現(xiàn)更全面的管理。

創(chuàng)新型大數(shù)據(jù)初創(chuàng)公司將越來越復(fù)雜的人工智能應(yīng)用推向市場。創(chuàng)新的應(yīng)用程序提供商開始通過基于人工智能的解決方案顛覆大數(shù)據(jù)的競爭格局。來自新的市場進(jìn)入者的威脅在各個大數(shù)據(jù)領(lǐng)域都在加速增長，其中大部分創(chuàng)新都是為公共云或混合云部署而設(shè)計(jì)的。過去幾年來，許多新的數(shù)據(jù)庫、流處理和數(shù)據(jù)科學(xué)初創(chuàng)公司已經(jīng)進(jìn)入市場。

顛覆性大數(shù)據(jù)方法正在成為已建立平臺的可行替代方案。不久之后，新一代的“獨(dú)角獸”大數(shù)據(jù)平臺提供商將推出融合了物聯(lián)網(wǎng)、區(qū)塊鏈和流計(jì)算的下一代方法。以上的這些新一代的大數(shù)據(jù)平臺將管理端到端的DevOps管道機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能的優(yōu)化。同時，大數(shù)據(jù)平臺正在為邊緣設(shè)備設(shè)計(jì)人工智能微服務(wù)。

Hadoop正在成為大數(shù)據(jù)難題中的一部分。有跡象表明，人們將Hadoop視為一種傳統(tǒng)的大數(shù)據(jù)技術(shù)，而不是顛覆性業(yè)務(wù)應(yīng)用程序的戰(zhàn)略平臺。盡管如此，Hadoop是一種成熟技術(shù)，廣泛用于許多用戶的IT組織中的關(guān)鍵用例(如非結(jié)構(gòu)化信息提煉)，并且在許多組織中仍然具有很長的使用壽命。考慮到這一長期前景，供應(yīng)商通過在獨(dú)立開發(fā)的硬件和軟件組件之間實(shí)現(xiàn)更平滑的互操作性，不斷提高產(chǎn)品性能。

用戶越來越多地在開放的生態(tài)系統(tǒng)中混合和匹配多供應(yīng)商的大數(shù)據(jù)部署。一些大數(shù)據(jù)供應(yīng)商正在提供包含專有、非標(biāo)準(zhǔn)或非開源組件的解決方案。客戶正在利用當(dāng)今競爭激烈的市場，從大數(shù)據(jù)分析廠商處獲取持續(xù)的增強(qiáng)功能。反過來，供應(yīng)商則將他們的工具解耦為模塊化架構(gòu)，客戶可以在各種功能級別交換組件。對于希望通過完整的供應(yīng)商鎖定在過去的市場中獲得可持續(xù)份額的供應(yīng)商而言，這是最好的方法。

數(shù)據(jù)庫正在通過創(chuàng)新方法進(jìn)行解構(gòu)和重組。從架構(gòu)角度來看，人們以前熟悉的數(shù)據(jù)庫正在減少。人們正在采用流媒體、內(nèi)存和無服務(wù)器大數(shù)據(jù)分析基礎(chǔ)架構(gòu)。供應(yīng)商正在探索重新構(gòu)建核心數(shù)據(jù)庫功能以滿足新興需求的新方法，例如自動化機(jī)器學(xué)習(xí)管道和面向邊緣的認(rèn)知物聯(lián)網(wǎng)分析。在這一演變過程中，隨著更多高性能事務(wù)分析功能集成到各種數(shù)據(jù)平臺中，分析和應(yīng)用程序數(shù)據(jù)庫正在融合。此外，數(shù)據(jù)庫存儲引擎正在成為主要用于機(jī)器數(shù)據(jù)的存儲庫，可通過替代結(jié)構(gòu)(例如鍵值索引和對象模式)進(jìn)行尋址。

數(shù)據(jù)科學(xué)工具鏈的端到端的DevOps管道越來越自動化。大數(shù)據(jù)增強(qiáng)的編程將繼續(xù)增長。開發(fā)人員可以使用越來越多的DevOps工具來自動化機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和其他人工智能資產(chǎn)的開發(fā)、部署和管理中的各種任務(wù)。這些解決方案的范圍越來越廣泛，甚至利用專門的機(jī)器學(xué)習(xí)算法來推動超參數(shù)調(diào)整等機(jī)器學(xué)習(xí)開發(fā)功能的發(fā)展。

打包的大數(shù)據(jù)分析應(yīng)用程序正變得越來越普及。未來十年，更多用戶將以預(yù)構(gòu)建、預(yù)培訓(xùn)和模板化云服務(wù)的方式獲得大數(shù)據(jù)分析解決方案。更多的這些服務(wù)將自動調(diào)整其嵌入式機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能模型，以持續(xù)提供最佳業(yè)務(wù)成果。更多的這些服務(wù)將納入預(yù)先訓(xùn)練的模型，客戶可以調(diào)整和擴(kuò)展到自己的特定需求。

[[222756]]

大數(shù)據(jù)分析的演變和部署障礙

盡管大數(shù)據(jù)分析采用的預(yù)測看起來很樂觀，但仍存在許多持續(xù)性的問題，使用戶試圖最大限度地利用這些技術(shù)的投資價值受到挫折。其中最主要的是：

過于復(fù)雜。大數(shù)據(jù)分析環(huán)境和應(yīng)用程序仍然過于復(fù)雜。供應(yīng)商需要繼續(xù)簡化這些環(huán)境的接口、體系結(jié)構(gòu)、功能和工具。這樣做會將復(fù)雜的大數(shù)據(jù)分析功能應(yīng)用于主流用戶和開發(fā)人員，其中許多人都是缺乏具備必要專業(yè)技能的內(nèi)部IT人員。

繁瑣的開銷。對于一些IT專業(yè)人員來說，大數(shù)據(jù)分析管理和治理流程仍然過于孤立，成本高昂且效率低下。供應(yīng)商需要構(gòu)建預(yù)先打包的工作流程，幫助大型專業(yè)人員團(tuán)隊(duì)更有效、快速和準(zhǔn)確地管理數(shù)據(jù)、元數(shù)據(jù)、分析和服務(wù)定義。

加強(qiáng)管道的自動化處理。大數(shù)據(jù)分析應(yīng)用程序開發(fā)和運(yùn)營管道仍然過于耗時，并耗費(fèi)人力。供應(yīng)商需要加強(qiáng)其工具的自動化功能，以確保提高用戶技術(shù)人員的生產(chǎn)力，同時確保即使是技能較低的人員也能處理復(fù)雜的任務(wù)。

自定義應(yīng)用程序。大數(shù)據(jù)分析專業(yè)服務(wù)對于開發(fā)、部署和管理許多自定義應(yīng)用程序仍然至關(guān)重要。這對于跨越混合云的數(shù)據(jù)驅(qū)動型應(yīng)用程序，涉及不同的平臺和工具，以及納入難以理解的復(fù)雜數(shù)據(jù)流程尤其如此。供應(yīng)商需要為常用的大數(shù)據(jù)分析應(yīng)用程序加強(qiáng)預(yù)先打包的應(yīng)用程序內(nèi)容，同時為用戶提供自助服務(wù)的可視化工具，用于指定復(fù)雜的業(yè)務(wù)邏輯，而無需外部幫助。

對于企業(yè)IT團(tuán)隊(duì)來說，Wikibon團(tuán)隊(duì)的主要建議是開始將更多的大數(shù)據(jù)分析開發(fā)工作遷移到公共云環(huán)境中。這將加速企業(yè)利用AWS、微軟、谷歌、IBM和其他公共云提供商提供的快速成熟、成本低廉產(chǎn)品的能力。企業(yè)應(yīng)該考慮構(gòu)建自己的混合云，以確保在未來幾年內(nèi)將其業(yè)務(wù)順利過渡到公共云。