2023展望:大數(shù)據(jù)會更加繁榮
大數(shù)據(jù)是數(shù)字化轉型和人工智能的基石。對于未來大數(shù)據(jù)發(fā)展趨勢。2023將近,眾多專業(yè)人士發(fā)表了自己對大數(shù)據(jù)前景的觀點和態(tài)度。
Fivetran產(chǎn)品負責人Alexander Lovell認為明年對于大數(shù)據(jù)領域是關鍵一年:“2023年數(shù)據(jù)團隊要么增長或要么關閉。盡管各企業(yè)的大數(shù)據(jù)應用回報質(zhì)量差異很大,公司仍在保持投資。隨著經(jīng)濟的廣泛混亂,數(shù)據(jù)團隊現(xiàn)在是時候通過提供有價值的見解來驅散迷霧,因為當市場不斷變化時,靠直覺執(zhí)行太不可靠。最好的數(shù)據(jù)團隊將會成長并變得更加重要,而不能夠產(chǎn)生可操作洞察力的團隊將面臨更大的壓力。”
Datometry的首席執(zhí)行官兼聯(lián)合創(chuàng)始人Mike Waas說,到2023年,SQL會再度崛起。NoSQL社區(qū)開始反思SQL的價值,承認企業(yè)需要標準,并且SQL具有通用而強大的查詢語言的簡單性。實際上,每個仍然活著的NoSQL數(shù)據(jù)庫目前都在向他們的系統(tǒng)添加SQL或SQL接口以吸引企業(yè)。2023幾乎所有想要在企業(yè)中取得成功的數(shù)據(jù)管理系統(tǒng)都會嘗試利用SQL,看起來像一個合適的數(shù)據(jù)庫。”
數(shù)據(jù)歷史上也經(jīng)歷了分分合合的階段,從集中到分布再到集中,如今再次盛行分布。Denodo首席執(zhí)行官兼創(chuàng)始人Angel Vi?a說,我們目前處于分布式階段,不太可能回到以前,因此需要采取新的方法來處理它,包括數(shù)據(jù)經(jīng)緯(Data Fabric)或數(shù)據(jù)網(wǎng)格(Data Mesh)。
“雖然兩者之間存在固有的差異,但數(shù)據(jù)經(jīng)緯是一組可組合的數(shù)據(jù)管理技術,數(shù)據(jù)網(wǎng)格是分布式團隊管理企業(yè)數(shù)據(jù)的過程導向。兩者都可以在企業(yè)范圍內(nèi)的數(shù)據(jù)訪問,集成,管理和交付中發(fā)揮關鍵作用,如果正確的數(shù)據(jù)基礎架構到位,那么在2023年,預計在中大型企業(yè)內(nèi)這兩種架構方法的采用將迅速增加。”
你聽說過現(xiàn)代數(shù)據(jù)堆棧。但是在2023年,你會聽到更多關于后現(xiàn)代數(shù)據(jù)堆棧的信息,Snowplow的CDO Chris Lubasch說:“這是圍繞現(xiàn)代數(shù)據(jù)堆棧進行的一年快速討論。盡管經(jīng)濟形勢充滿挑戰(zhàn),但仍有許多新供應商涌現(xiàn),Snowflake和Databricks等主要供應商繼續(xù)接管許多技術組件。同時,出現(xiàn)質(zhì)疑現(xiàn)代數(shù)據(jù)堆棧的聲音,因為其方法往往導致許多工具成本過高,更不用說將它們整合在一起的復雜性了。圍繞“后現(xiàn)代數(shù)據(jù)堆棧”(作為許多術語中的一個)的討論已經(jīng)開始,我們都渴望看到這將在未來幾年引導我們?nèi)ツ睦铩!?/p>
作為對象存儲提供商Cleversafe(2015年被IBM收購13億美元)的創(chuàng)始人,Chris Gladwin預測,2023年是超大規(guī)模數(shù)據(jù)成為主流的一年。
數(shù)據(jù)密集型企業(yè)正在超越大數(shù)據(jù),進入指數(shù)級更大的超大規(guī)模數(shù)據(jù)領域,這需要對數(shù)據(jù)基礎設施進行重新評估,到2023年,數(shù)據(jù)倉庫供應商將開發(fā)新的方法來構建和擴展系統(tǒng)和服務。
這不僅僅是技術人員必須計劃的數(shù)據(jù)總量,還有新興的數(shù)據(jù)集和待處理的工作量。一些領先的IT組織現(xiàn)在正在處理包含數(shù)十億和數(shù)萬億記錄的數(shù)據(jù)集。到2023年,我們甚至可以在數(shù)據(jù)密集型行業(yè)(比如廣告、電信和地理空間)看到數(shù)十億行的數(shù)據(jù)集。隨著組織利用來自運營,客戶以及移動設備的近實時數(shù)據(jù)量的增加,超大規(guī)模數(shù)據(jù)集將變得越來越普遍。”
Immuta首席執(zhí)行官兼聯(lián)合創(chuàng)始人Matt Carroll表示,2023年將看到數(shù)據(jù)處理協(xié)議(DPAs:data processing agreements)的興起。“到2023年,我們將看到DPA成為SaaS合同和數(shù)據(jù)共享談判的標準要素。組織如何處理這些合同將從根本上改變他們?nèi)绾螛嫿〝?shù)據(jù)基礎架構并定義數(shù)據(jù)的業(yè)務價值。因此,數(shù)據(jù)領導者最有興趣在2023年及以后完全接受DPA。這些冗長的文件將很復雜,DPA的數(shù)字化和法律團隊的參與將使他們更容易理解和實施。
“到2023年,隨著數(shù)據(jù)共享的不斷增長,數(shù)據(jù)和IT團隊被迫跟上,數(shù)據(jù)交換將成為新標準。隨著組織生產(chǎn)現(xiàn)代化數(shù)據(jù)堆棧,規(guī)模和數(shù)量將會爆炸式增長。數(shù)據(jù)集在共享之前制作副本將不再可行。到2023年,企業(yè)將涌入已建立的平臺,如Snowflake的數(shù)據(jù)交換和Databricks的Delta共享協(xié)議,以使安全地共享和貨幣化流通數(shù)據(jù)更加容易。”
而在Rockset的聯(lián)合創(chuàng)始人兼首席技術官Dhruba Borthakur和RocksDB的創(chuàng)始工程師看來,2023年將成為數(shù)據(jù)應用程序的一年。
“在過去的10年中,我們看到了web應用程序和移動應用程序的興起,但2023年是數(shù)據(jù)應用程序的一年。可靠,高性能的數(shù)據(jù)應用程序將被證明是成功的關鍵工具,因為企業(yè)尋求新的解決方案以改善面向客戶的應用程序和內(nèi)部業(yè)務運營。我們的指尖可以使用Uber,Lyft和Doordash等按需數(shù)據(jù)應用程序。在實時分析基礎的支持下,我們將看到數(shù)據(jù)應用程序不僅是實時的,而且故障安全的壓力越來越大。”
你的新年購物清單上可能有很多東西。但Tamr首席產(chǎn)品官Anthony Deighton今年希望有一件事:干凈的數(shù)據(jù)。
“‘臟’數(shù)據(jù)是不正確,不完整,不一致,過時,重復的數(shù)據(jù),可能會殺死你的業(yè)務,這是一個常見問題。避免混亂和沮喪。客戶掌握可以跨系統(tǒng)和來源創(chuàng)建統(tǒng)一,準確和豐富的客戶數(shù)據(jù)視圖,以及能夠一致跟蹤客戶的唯一標識符。大規(guī)模掌握客戶數(shù)據(jù)為銷售,營銷和客戶體驗團隊提供了加速數(shù)據(jù)驅動銷售的有效途徑。它還可以為客戶提供洞察力以獲得競爭優(yōu)勢。”
根據(jù)Google Cloud Google數(shù)據(jù)庫副總裁兼總經(jīng)理Andi Gutmans的說法,交易和分析工作量之間的障礙將在2023年開始消失。
Gutmans說:“傳統(tǒng)上,數(shù)據(jù)體系結構已經(jīng)將這些工作負載分開,因為每個工作負載都需要一個適合目的的數(shù)據(jù)庫,交互數(shù)據(jù)庫則針對快速讀取和寫入進行了優(yōu)化,分析數(shù)據(jù)庫則針對聚合大數(shù)據(jù)集進行了優(yōu)化。隨著基于云的數(shù)據(jù)體系結構的發(fā)展,這些體系結構通過高性能網(wǎng)絡利用高度可擴展,分類的計算和存儲,我們預測將會有新的數(shù)據(jù)庫體系結構,允許在一個系統(tǒng)內(nèi)進行交易和分析工作負載,而不需要應用程序折中工作負載需求。”
不看好大數(shù)據(jù)的人也有很多。但Altair數(shù)據(jù)分析和物聯(lián)網(wǎng)的高級副總裁Christian Buckner說,不相信炒作。
“大數(shù)據(jù)還沒有死,”他說。“提供商將嘗試領先趨勢,我們將看到許多人開始宣傳'大數(shù)據(jù)已經(jīng)死亡'。相反,許多組織傾向于'智能數(shù)據(jù)'以獲得更深入的見解。但大數(shù)據(jù)仍將繼續(xù)在業(yè)務運營中發(fā)揮重要作用。關鍵是確保擁有易于使用的自助工具來實現(xiàn)清潔,驗證和準備數(shù)據(jù),然后可以將其插入數(shù)據(jù)分析模型中以獲得有價值的結果和智能決策。將大數(shù)據(jù)轉化為智能數(shù)據(jù)的公司將從新的數(shù)據(jù)思考方式中受益。”
根據(jù)Snowflake產(chǎn)品管理總監(jiān)Torsten Grabs的說法,在數(shù)據(jù)民主化方面,將以Python的形式出現(xiàn)。
“到2023年,Python將成為整個組織中每個人對數(shù)據(jù)的訪問和見解民主化的主要媒介,隨著Python周圍的運行時基礎架構變得更簡單,更直接,并且包含更多安全性,Python將變得更加企業(yè)化,同時,生成Python結果將進一步簡化,該代碼將被包裹在有意義的用戶體驗中,以便公司營銷團隊等非IT用戶可以輕松消費和理解它。我們將看到Python與15到20年前自助商業(yè)智能工具的出現(xiàn)相比,具有相同或更大的可能性,對數(shù)據(jù)民主化的轉型影響更大。”