2017年大數據領域的十大趨勢
譯文【51CTO.com快譯】“大數據”不再只是一個流行詞。弗雷斯特研究公司的研究人員發現,“2016年,近40%的公司在實施大數據技術,并且擴大了采用力度。另有30%的公司計劃在未來12個月內采用大數據技術。”
類似的,NewVantage Partners的《2016年大數據高管調查》發現,如今62.5%的公司在生產環境中至少有一個大數據項目,只有5.4%的企業組織沒有計劃或開展大數據項目。
研究人員表示,采用大數據技術的勢頭不太可能很快就減慢。IDC主管分析和信息管理的集團副總裁丹·維塞特(Dan Vesset)說:“出現的大量數據、新一代技術,以及數據驅動型決策的文化轉變,這些因素繼續促使市場需要大數據和分析技術及服務。預計該市場會以11.7%的復合年增長率繼續增長,一直持續到2020年。”
雖然大數據市場在增長,但企業組織將如何使用大數據仍不大明朗。新的大數據技術在進入市場,而一些舊技術的使用也在繼續增長。本文介紹了在2017年及之后可能左右大數據市場格局的十大趨勢。
1、開源
Apache Hadoop和Spark等其他開源應用軟件已逐漸主導大數據領域,這個趨勢看起來可能會保持下去。一項調查發現,到今年年底,近60%的企業預計會在生產環境中運行Hadoop集群。而據弗雷斯特公司聲稱,Hadoop的使用量以每年32.9%的速度增長。
研究者們表示,2017年,許多企業會加大使用Hadoop和NoSQL技術的力度,并想方設法加快大數據處理速度。許多企業會尋求讓自己得以實時訪問和響應數據的技術。
2、內存技術
許多公司在調查研究,試圖加快大數據處理速度的一項技術就是內存技術。在傳統數據庫中,數據存儲在配備硬盤驅動器或固態硬盤(SSD)的存儲系統中。內存技術改而將數據存儲在內存中,這大大提高了數據處理速度。弗雷斯特研究公司的一份報告預測,內存數據架構每年會增長29.2%。
幾家廠商提供內存數據庫技術,尤其是SAP、IBM和Pivotal。
3、機器學習
隨著大數據分析能力不斷增強,一些企業已開始投入于機器學習。機器學習是人工智能的一個分支,專注于讓計算機可以在沒有明確編程的情況下學習新事物。換句話說,它分析現有的大數據存儲系統,從而得出可能改變應用程序運行方式的結論。
據Gartner聲稱,機器學習是2017年的十大戰略技術趨勢之一。它特別指出,如今最先進的機器學習和人工智能系統正在超越“基于規則的傳統算法,構建能夠理解、學習、預測、適應,甚至自主操作的系統。”
4、預測分析
預測分析與機器學習密切相關。實際上,機器學習系統常常為預測分析軟件提供引擎。在大數據分析的早期階段,企業組織回顧數據、查看過去發生了什么,然后開始使用分析工具來調查那些事情為何發生。而預測分析更進了一步,它使用大數據分析工具來預測將來會發生什么。
據普華永道在2016年的一項調查顯示,如今使用預測分析技術的企業組織數量少得驚人,只有29%。然而,無數廠商最近推出了預測分析工具,隨著公司越來越意識到這種功能強大的工具,這個數字在未來幾年可能會急劇提高。
5、智能應用程序
企業使用機器學習和人工智能技術的另一種方式就是構建智能應用程序。這種應用程序常常結合大數據分析技術,分析用戶以前的行為,以便提供個性化和更好的服務。大家已經非常熟悉的一個例子就是,現在支持許多電子商務和娛樂應用程序的推薦引擎。
Gartner在2017年的十大戰略技術趨勢中,將智能應用程序列在第二位。Gartner副總裁兼研究員大衛·凱洛萊(David Cearley)說:“在今后十年,幾乎每個應用、應用程序和服務都會結合某種級別的人工智能。這會成為一種長期趨勢,不斷演變,并不斷擴大人工智能和機器學習在應用程序和服務的應用范圍。”
6、智能安全
許多企業還將大數據分析技術納入到安全戰略中。企業組織的安全日志數據提供了以往網絡攻擊方面的寶貴信息,企業可以利用這些信息來預測、預防和緩解未來的攻擊企圖。因而,一些企業組織將安全信息和事件管理(SIEM)軟件與Hadoop等大數據平臺整合起來。另一些企業求助于提供的產品整合大數據分析功能的安全廠商。
7、物聯網
物聯網也可能對大數據產生相當大的影響。據IDC在2016年9月的一份報告聲稱,“31.4%的受訪公司已啟動了物聯網解決方案,另有43%期望在今后12個月部署這類解決方案。”
隨著所有那些新設備和應用程序紛紛上網,企業組織會遇到比過去還要瘋狂的數據增長勢頭。許多企業需要新的技術和系統,以便能夠處理和解讀來自部署的物聯網的潮水般的大數據。
8、邊緣計算
邊緣計算是一種可以幫助公司處理物聯網大數據的新技術。在邊緣計算中,大數據分析非常靠近物聯網設備和傳感器來進行,而不是在數據中心或云端來進行。對企業來說,這帶來了一些顯著的好處。在網絡上傳輸的數據比較少,這可以改善性能,并節省云計算成本。它讓企業組織得以刪除只在有限的時間內有價值的物聯網數據,從而降低存儲和基礎設施成本。邊緣計算還可以加快分析過程,讓決策者得以在獲得洞察力后比以前更迅速地采取行動。
9、高薪
對IT工人來說,大數據分析技術的發展可能意味著擁有大數據技能的人才方面需求旺盛,薪水優厚。據IDC稱:“光在美國,2018年會有181,000個深度分析崗位,是需要數據管理和解讀相關技能的崗位數量的五倍。”
由于人才緊缺,Robert Half Technology公司預測,2017年數據科學家的平均薪資將提高6.5%,年薪在116000美元至163500美元。同樣,明年大數據工程師的薪資也將提高5.8%,年薪在135000美元至196000美元。
10、自助服務
由于聘請大數據專家的成本上升,許多企業可能尋求讓普通專業人員可以滿足自己的大數據分析要求的工具。IDC之前預測“可視化數據發現工具的增長速度將比商業智能(BI)市場的其余工具快2.5倍。到2018年,投入于支持最終用戶自助服務的這種工具將成為所有企業的要求。”
幾家廠商已經發布了擁有“自助服務”功能的大數據分析工具,專家預計這個趨勢會持續到2017年及之后。由于大數據分析變得更加融入到公司所有部門的工作人員的工作方式之中,IT部門可能不太參與到這個過程。
原文標題:Top 10 Trends in Big Data,作者:Cynthia Harvey
【51CTO譯稿,合作站點轉載請注明原文譯者和出處為51CTO.com】