2024年數據管理預測:利用AI更好地利用非結構化數據
譯文在數據存儲和非結構化數據管理領域,過去 12 個月發生了很大變化。在不確定的經濟環境下,隨著成本上升和 IT 預算壓力增加,云存儲戰略受到關注,生成式 AI 正在創造新的數據存儲和治理要求,數據遷移越來越復雜,IT 組織面臨著控制成本和提供更大數據價值的巨大壓力。如何處理這一切?以下是針對 IT 組織和數據存儲團隊的一些預測。首先是 AI 和非結構化數據管理。
人工智能將會更好地利用非結構化數據
非結構化數據非常龐大。直到今天,由于以下幾個原因,非結構化數據仍無法使用:搜索、分類、細分和遷移到 AI 引擎,以及分析工具既困難又昂貴。不過,人們越來越需要利用這些數據來創造新的業務價值,隨著人工智能的發展,這將變成可能。
挑戰在于:想要向 AI 發送數據的研究人員和數據科學家沒有簡單的方法來安全地做到這一點。它需要編寫手動腳本,這需要數天或數周工作。另外,人工智能和機器學習技術仍然不太準確,并引入了偏見和錯誤的結果。
然而,我們預測對解決方案的需求將會增加,這些解決方案可以創建一個工作流程。利用這個工作流程,人工智能可以快速找到所需的數據,豐富數據并驗證結果。工作流程可能包括首先使用人工智能工具掃描云數據湖或數據中心中的數據,以找到項目所需的數據類型。例如, 2022 年的所有胸部 X 線攝影圖像。然后,AI 通過掃描文件內容和標記文件(例如“包含用于診斷隨訪的標記 X”)來豐富元數據,并返回一個可以由人類驗證為正確輸出的數據集。具有可搜索全局文件索引的非結構化數據管理可以通過 API 連接到 AI 工具,以進一步識別和豐富數據。它為 AI 項目節省時間、提高效率和準確性。
從云優先到數據優先
在全球疫情最嚴重的時候,云優先戰略風靡一時。但在今天,這些計劃已經暴露在顯微鏡下。IT 組織使用適合不同工作負載的多種供應商技術創建了靈活的混合云和多云環境。一些組織發現他們不僅沒有節省足夠的資金,而且有時甚至比將數據保存在內部花費更多。
這一現實背后有很多原因,但將大部分或全部工作負載放在云中以最終節省成本的想法并沒有成功。IT 組織需要根據其數據在整個生命周期中的性能、成本和安全需求,從市場上的眾多存儲選項(無論是在本地還是在云中)中進行選擇。隨著需求的變化或更好地技術可用,能夠更加輕松地移動數據,這將變得至關重要。
因此,允許大量非結構化數據在不受供應商鎖定的情況下,使用移動地數據管理工具,才能變得越來越有價值。
非結構化數據遷移變得更加智能、自動化
傳統上,企業數據遷移非常復雜,需要大量實際操作,并且需要大量的專業服務,尤其是在涉及大量非結構化數據時。自動化和人工智能將改變這種狀況,實現智能、高效的數據遷移,不再需要 IT 經理時時盯緊數據遷移工作。
這些智能化地工具將知道如何即時解決問題并自我修復。隨著技術的增長,高級遷移規劃工具將針對不同的工作負載和用例推薦最佳存儲層。這是一個必然的結果,因為數據遷移取決于客戶不斷變化的環境:他們的防火墻、網絡連接和安全配置。企業客戶將尋求能夠提供數量級的更快地遷移速度、更好地長期結果以及更少地數據丟失、錯誤和安全風險實例的解決方案。
存儲IT職業:所需的FinOps和跨平臺技能
鑒于上述所有趨勢,存儲 IT 團隊將需要獲得更多的專業知識,以便更具成本效益和效率,并符合業務和部門的需求。
FinOps 一詞將成為 2024 年存儲架構師命名方法的一部分。隨著存儲越來越以軟件和服務為中心,現在對硬件的管理需求也越來越少。相反,管理供應商、合同以及向部門和用戶提供安全、經濟高效地數據服務將占用存儲專業人員的大量時間。
同樣,企業正在擺脫單一供應商。因此,存儲管理員必須在不同的技術之間跳來跳去,而不是專注于一個平臺。這需要在網絡、安全、云架構、成本建模和數據分析方面擁有更廣泛的技能和知識。
因此,特定于存儲的職位將被數據頭銜所取代,例如“數據洞察工程師”或“數據管理架構師”。在成熟的基礎架構團隊中,負責存儲的經理將與數據科學和 AI 團隊更緊密地合作,采購 AI 就緒的基礎架構,并制定數據分類和分析平臺數據工作流的計劃。
原文標題:Data Management Predictions for 2024
原文作者:Kumar Goswami