人工智能的進步可能是2024年的主要推動力，也凸顯出大數(shù)據(jù)的挑戰(zhàn)——如何存儲、管理、管理和使用大數(shù)據(jù)——從未如此緊迫。，因為如果作為基石的數(shù)據(jù)失控，人工智能就沒有意義了。當然反之亦然。

在新的一年里，大數(shù)據(jù)會給我們帶來什么?盡管科技發(fā)展很難預測，行業(yè)專家仍然試圖通過對大數(shù)據(jù)領域的預測，為我們揭示未來。

數(shù)據(jù)庫提供商Percona的技術傳道者Dave Stokes表示，人們對矢量數(shù)據(jù)庫的興趣將會激增。然而，它無法“獨當一面”。

Stokes預測:“矢量數(shù)據(jù)庫將成為許多人討論的熱門新領域，但幾年后最終將被關系數(shù)據(jù)庫所吸收。”“每隔10年左右，就會有一種‘新’數(shù)據(jù)庫技術被宣布為關系數(shù)據(jù)庫，開發(fā)人員也會加入這一潮流，結果卻發(fā)現(xiàn)關系模型非常靈活，關系數(shù)據(jù)庫供應商可以輕松地將新技術應用到他們的產(chǎn)品中。

不同數(shù)據(jù)孤島的存在一直是數(shù)據(jù)工程師的眼中釘。但據(jù)Hammerspace的營銷高級副總裁Molly Presley稱，2024年將帶來一線希望，因為一種集中式的數(shù)據(jù)編排形式將占據(jù)中心位置。

“組織將開始從‘存儲和復制’轉(zhuǎn)向數(shù)據(jù)編排的世界?！盤resley說，“在人工智能進步的推動下，現(xiàn)在存在強大的工具來分析數(shù)據(jù)并梳理出可操作的見解。然而，文件存儲基礎設施并沒有跟上這些進步的步伐。與試圖通過將文件副本從一個地方移動到另一個地方來管理存儲筒倉和分布式環(huán)境的解決方案不同，數(shù)據(jù)編排幫助組織將來自不同筒倉和位置的數(shù)據(jù)集成到單個命名空間中，并在最有價值的時間和地點自動放置數(shù)據(jù)，從而更容易分析和獲得見解?！?/p>

我們存儲的大多數(shù)數(shù)據(jù)都是非結構化的。MinIO的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Periasamy表示，隨著數(shù)據(jù)的堆積，管理起來真的是一個挑戰(zhàn)，但2024年將帶來新的管理方法。

“到2024年，隨著人工智能應用的飛速發(fā)展，我們將看到企業(yè)真正的非結構化數(shù)據(jù)(音頻、視頻、會議記錄、演講、演示)出現(xiàn)爆炸式增長。從人工智能的角度來看，這是高度‘可學習’的內(nèi)容，將其收集到人工智能數(shù)據(jù)湖中將大大提高整個企業(yè)的智能能力，但它也帶來了獨特的挑戰(zhàn)?！? Periasamy說，“保持數(shù)十PB數(shù)據(jù)的性能存在明顯的挑戰(zhàn)。這些問題通常不能用傳統(tǒng)的SAN/NAS解決方案解決——它們需要現(xiàn)代的、高性能的對象存儲的屬性。這就是為什么大多數(shù)AI/ML技術(如OpenAI、Anthropic、Kubeflow)都利用對象存儲，以及為什么大多數(shù)數(shù)據(jù)庫都轉(zhuǎn)向以對象存儲為中心。”

根據(jù)Forrester的研究，企業(yè)管理的非結構化數(shù)據(jù)將在2024年翻一番，為人工智能開辟了潛在的有利可圖的新選擇。

該分析集團表示:“全球數(shù)據(jù)和分析決策者表示，他們組織管理的數(shù)據(jù)中只有27%是非結構化的?！彪S著公司為客戶和員工推出更多的對話體驗，生成式人工智能將使這一數(shù)字翻一番。企業(yè)將爭相存儲、分析和理解這些大量的非結構化數(shù)據(jù)。這一趨勢將出現(xiàn)在數(shù)據(jù)管道領域，到2024年，80%的新數(shù)據(jù)管道將用于獲取、處理和存儲非結構化數(shù)據(jù)。

Faction技術和運營副總裁Jeff Heller表示，到2024年，全球許多企業(yè)將實施數(shù)據(jù)優(yōu)先架構，以簡化其數(shù)據(jù)管理策略。

“公司正在經(jīng)歷范式轉(zhuǎn)變：他們要么選擇一種云，要么選擇另一種架構來滿足他們的需求?！? Heller說，“到2024年，企業(yè)將需要考慮哪種云計算最適合他們，以充分利用他們的數(shù)據(jù)。基于短期目標而非長期增長的決策將導致數(shù)據(jù)鎖定。為了及時做出決策，數(shù)據(jù)需要準確和可訪問。對于組織來說，管理數(shù)據(jù)正變得越來越復雜。對高效數(shù)據(jù)管理策略的需求是至關重要的。企業(yè)將轉(zhuǎn)向提供從所有云的首選位置訪問單個數(shù)據(jù)集的解決方案，以確保數(shù)據(jù)準確性和提高效率?！?/p>

數(shù)據(jù)管道公司Matillion的首席產(chǎn)品官Ciaran Dynes表示，人工智能革命正在觸及生活的方方面面，包括大數(shù)據(jù)管理。

“在過去的十年里，數(shù)據(jù)工程師的角色已經(jīng)從根本上擴展了?！? Dynes說，“未來12個月將是科技公司讓數(shù)據(jù)工程師的工作變得更簡單的一年。新工具將進入市場，集成到現(xiàn)有的平臺中，從而能夠?qū)⑸墒饺斯ぶ悄芴砑拥浆F(xiàn)有的數(shù)據(jù)管道中，并能夠在內(nèi)部部署這些模型，這樣用戶就可以像使用ChatGPT一樣與這些模型進行實時交互。不管市場上的工具是什么，明年對數(shù)據(jù)工程師的重新培訓也將是巨大的需求，以掌握提示工程，如何微調(diào)這些模型，如何大規(guī)模提高他們的生產(chǎn)力。明年，數(shù)據(jù)工程師的生活將變得更加有趣。”

你有多看重數(shù)據(jù)工程師?據(jù)Snowflake公司產(chǎn)品管理總監(jiān)Jeff Hollan說，到2024年，它們的價值將會更高。

Hollan說:“有很多人認為，人工智能革命將取代數(shù)據(jù)工程師的角色。事實并非如此，事實上，他們的數(shù)據(jù)專業(yè)知識將比以往任何時候都更加重要，只是以一種新的、不同的方式。為了跟上不斷變化的形勢，數(shù)據(jù)工程師需要了解生成式人工智能如何增加價值。由數(shù)據(jù)工程師構建和管理的數(shù)據(jù)管道可能是連接大型語言模型的第一個地方，以便組織釋放價值。數(shù)據(jù)工程師將是那些了解如何使用模型并將其插入數(shù)據(jù)管道以自動提取價值的人。他們還需要監(jiān)督和理解人工智能的工作?！?/p>

當數(shù)據(jù)由云中的第三方管理時，您可能會覺得數(shù)據(jù)失去了控制。Ngrok的首席技術官 Peter Shafton預測，2024年將是你開始重新掌控自己數(shù)據(jù)的一年。

Shafton說:“2024年的數(shù)據(jù)管理將顯著轉(zhuǎn)向更易于訪問和控制?！薄半m然過去十年見證了基于云計算的數(shù)據(jù)解決方案的熱潮，但鐘擺又回到了更多的自我管理。這種轉(zhuǎn)變背后的原因有兩個:隱私和成本效益。數(shù)據(jù)泄露的持續(xù)威脅以及對更嚴格的訪問控制的需求使企業(yè)對僅依賴外部云平臺持謹慎態(tài)度。此外，云數(shù)據(jù)存儲和處理成本的不可預測性促使組織尋求更具可預測性和成本效益的解決方案?？稍L問且用戶友好的數(shù)據(jù)管理工具的激增也促進了這一趨勢，這些工具通常源于Uber、Netflix和Airbnb等科技巨頭開創(chuàng)的開源解決方案。

“數(shù)據(jù)智能”這個術語已經(jīng)發(fā)展了幾年，指的是組織對其數(shù)據(jù)使用的各種數(shù)據(jù)管理工具。Nasuni的首席創(chuàng)新官Jim Liddle表示，未來12個月將是這個概念成敗的關鍵。

Liddle說:“數(shù)量驚人的公司存儲大量數(shù)據(jù)，僅僅是因為他們不知道數(shù)據(jù)中有什么，也不知道他們是否需要這些數(shù)據(jù)。”“數(shù)據(jù)是準確的和最新的嗎?是否正確分類和“可搜索”?它是否兼容?它是否包含個人身份信息(PII)、受保護的健康信息(PHI)或其他敏感信息?它是按需提供還是存檔?在未來的一年里，所有公司都將被迫接受人工智能的數(shù)據(jù)質(zhì)量、治理、訪問和存儲要求，然后才能推進數(shù)字化轉(zhuǎn)型或改進計劃，以獲得所需的競爭優(yōu)勢。”

Coalesce的首席執(zhí)行官兼聯(lián)合創(chuàng)始人Armon Petrossian表示，如果不能保持數(shù)據(jù)的質(zhì)量和完整性，那么你就可以和2024年的GenAI計劃說再見了。

他說:“到2024年，隨著數(shù)據(jù)從有價值的資產(chǎn)演變?yōu)榕畈l(fā)展的企業(yè)的命脈，技術領域?qū)⒁娮C一場變革?！薄昂鲆晹?shù)據(jù)質(zhì)量、完整性和血統(tǒng)的組織將面臨挑戰(zhàn)，不僅要做出明智的決策，還要實現(xiàn)生成式人工智能、法學碩士和機器學習應用程序和用例的全部潛力。隨著今年的發(fā)展，我預測，那些忽視建立強大的數(shù)據(jù)基礎和戰(zhàn)略的組織將發(fā)現(xiàn)，在快速發(fā)展的科技行業(yè)中保持生存越來越具有挑戰(zhàn)性。那些不能適應和優(yōu)先考慮數(shù)據(jù)基礎的公司將難以超越競爭對手，甚至可能面臨在這個競爭激烈的環(huán)境中生存的風險?！?/p>

數(shù)據(jù)沿襲構成了一個持續(xù)的挑戰(zhàn)。altair云計算總工程師Yeshwant Mummaneni預測，2024年，區(qū)塊鏈將伸出援手。

Mummaneni說:“由于人工智能/機器學習模型在關鍵決策中發(fā)揮著關鍵作用，無論是由人類監(jiān)督還是以完全自主的方式，模型的來源/血統(tǒng)變得至關重要?！薄盀閰^(qū)塊鏈提供記錄、數(shù)字身份、簽名和利用密碼學驗證的不變性的基礎技術，將成為企業(yè)人工智能提供防篡改模型來源的關鍵方面。”

另一個大數(shù)據(jù)趨勢將像2024年寒冷冬夜的冰晶一樣增長：合成數(shù)據(jù)。這是SAS公司高級分析產(chǎn)品經(jīng)理斯Potamitis說的。

Potamitis表示:“隨著組織面臨更嚴格的監(jiān)管，以及跨境共享敏感數(shù)據(jù)變得更具挑戰(zhàn)性，合成數(shù)據(jù)將獲得很大的吸引力?！薄昂铣蓴?shù)據(jù)可以高精度地捕獲原始數(shù)據(jù)源的統(tǒng)計屬性，從而克服監(jiān)管障礙，為組織開啟創(chuàng)新之門。”

ALTR首席執(zhí)行官Beecham表示，雖然你的大數(shù)據(jù)存儲庫感覺不錯，但2024年將是數(shù)據(jù)治理“向左移動”的一年。

Beecham說:“組織將在數(shù)據(jù)傳輸?shù)脑缙趯嵤?shù)據(jù)治理和安全措施，在云數(shù)據(jù)倉庫的左側，這不僅可以保護敏感信息，還可以提高所收集數(shù)據(jù)的整體質(zhì)量?！薄半S著有關數(shù)據(jù)隱私和安全的法規(guī)越來越多，早期優(yōu)先考慮數(shù)據(jù)治理和安全的公司將更好地遵守這些法規(guī)。到2024年，預計將有大量公司優(yōu)先考慮數(shù)據(jù)治理和安全的轉(zhuǎn)移，使他們能夠在云數(shù)據(jù)倉庫和湖屋上啟動強大的數(shù)據(jù)訪問治理和數(shù)據(jù)安全功能，并在數(shù)據(jù)離開源系統(tǒng)時將其擴展到數(shù)據(jù)。”

在2023年，數(shù)據(jù)網(wǎng)格在其他技術趨勢中退居次要地位(主要風頭在于GenAI)，但在2024年，數(shù)據(jù)網(wǎng)格的好處將變得非常明顯，不容忽視，Denodo的首席執(zhí)行官Angel Vi?a說。

Vi?a表示:“2024年將是數(shù)據(jù)網(wǎng)格崛起的關鍵一年，它包含了數(shù)據(jù)固有的分布式特性。”“在數(shù)據(jù)網(wǎng)格中，IT的角色轉(zhuǎn)變?yōu)闉閿?shù)據(jù)域提供基礎以完成其工作，即在整個企業(yè)中創(chuàng)建和分發(fā)數(shù)據(jù)產(chǎn)品。轉(zhuǎn)折點將是認識到數(shù)據(jù)產(chǎn)品應與任何其他產(chǎn)品同等重要。在這個以數(shù)據(jù)為中心的時代，僅僅包裝數(shù)據(jù)是不夠的，企業(yè)需要提升終端用戶的整體體驗。”