2023 年已經過去五個月，我想談談 2023 年需要關注的一些數據架構趨勢。

介紹

在本文中，我將討論五種數據趨勢，我認為它們將成為 2023 年以后數據公司的首要任務。

2023 年趨勢

• Lakehouse Architecture
• Data Mesh
• Data Governance
• Real-time Processing/Streaming
• Data Architecture & Data Modeling

湖倉架構

那么什么是湖倉架構呢？湖倉是什么意思？湖倉架構是一種數據存儲和管理架構，結合了數據湖和數據倉庫的優點。它旨在解決傳統數據倉庫和數據湖的局限性，并提供一種更高效、更具成本效益的數據管理方法。

數據倉庫：用于“商業智能目的”的大規模數據存儲。數據倉庫存儲來自各種來源的數據，并針對查詢和分析進行了優化，通常使用維度數據模型。數據倉庫支持更快、更高效的報告和數據分析，幫助根據數據驅動的洞察力做出更好的決策。

數據湖：數據湖是一個集中式存儲庫，以其本機格式存儲來自各種來源的原始、未處理的數據。數據湖提供了存儲和分析大量結構化和非結構化數據（包括文本、圖像和視頻）的靈活性。數據湖旨在處理在存儲時用例未知的數據，以便以后可以探索和分析數據。與數據倉庫不同，數據湖不需要預先對數據進行結構化或轉換，因此更適合探索性或“臨時”分析。

在湖倉架構中，數據以原始格式存儲在中央存儲庫中，類似于數據湖。但是，就像數據倉庫一樣，數據也是經過組織和索引的。這允許更快、更有效地查詢數據，以及處理和分析數據的方式的靈活性。

此外，湖倉架構通常包括數據版本控制、數據沿襲和數據治理等功能，以幫助確保數據質量和一致性。

近年來，由于數據爆炸以及組織需要能夠實時存儲、管理和分析大量數據，湖倉架構越來越受歡迎。一些流行的湖倉架構技術包括 Apache Spark、Delta Lake 和 Databricks。

大多數組織現在都在尋求構建湖倉而不是數據倉庫和數據湖，并且所有主要數據平臺現在都有用于實現湖倉的產品/功能。

• Databricks
• Apache Iceberg
• Snowflake

數據網格

Data Mesh 聽起來有點抽象，那到底是什么呢？

Data Mesh 是設計和操作分布式數據架構的一種相對較新的方法。它基于這樣一種理念，即數據應被視為產品并作為跨多個部門的分布式自助服務系統進行管理，而不是作為集中式 IT 功能進行管理。

在數據網格架構中，數據被組織成特定領域的數據集，這些數據集由最接近數據的團隊擁有和管理。這些團隊負責他們管理的數據的質量、治理和安全性。數據被視為商品，數據生產者和數據消費者之間有明確的合同。

該架構旨在支持團隊的可擴展性、靈活性和自主性。它鼓勵使用數據標準、API 和定義明確的合同，以便跨多個域輕松安全地訪問數據。

Data Mesh 是對傳統集中式數據架構緩慢、僵化和難以擴展的局限性的回應。通過分散數據管理，Data Mesh 的目標是擴大數據民主化、加速創新并提高數據的整體質量。

整個 2022 年，我們一直在聽說數據網格架構，似乎每個現代數據公司都在討論并計劃實施它們。但這并不容易。

Data Mesh 不僅僅是一種架構變化，它是一種組織協作，它需要轉變關于誰擁有和管理數據以及如何擁有和管理數據的思維方式，因此 Data Mesh 的成功將取決于維護和運營管理的系統的程度.

Data Mesh 建立在四個關鍵基礎之上。

領域所有權——領域團隊對自己的數據負責。

數據作為一種產品——領域團隊應該將他們的數據視為一種產品，并將其提供給其他領域或下游消費者。

自助數據基礎架構——一個專門的團隊來管理數據平臺并使領域團隊能夠將其用于他們的用例。

聯合治理——跨域標準化數據產品，使它們更易于管理、共享并遵守行業和監管標準。

數據治理

數據治理是一個需要討論和理解的廣泛話題。數據治理包含許多不同的方式，可以更好地管理數據。

以下是對數據治理的簡要說明數據治理是一組政策、程序和控制措施，用于管理組織如何收集、存儲、管理和使用其數據資產。這包括定義和執行與數據相關的標準、確保數據質量和準確性、管理數據安全和隱私，以及確保遵守法規要求。

數據治理提供了一個框架，用于將數據作為戰略資產進行管理，確保數據可靠、一致、及時并且可供合適的人員訪問。這使組織能夠降低與數據泄露、違規和聲譽損害相關的風險。

數據治理還可以通過清楚地了解哪些數據可用、數據的結構以及如何用于支持業務目標來幫助組織優化其數據資產并改進決策。

數據治理的一些步驟包括：

• 數據質量——驗證和改進
• 元數據管理和數據發現
• 數據審計和數據沿襲
• 訪問控制和安全數據共享
• 主數據管理定期審查流程
• 實時處理/流媒體

傳統數據倉庫在一天結束時 (EoD) 或一天開始時 (SoD) 以批處理的方式進行填充。BI 用戶很高興他們每天可以看到一次他們的準確和完整的數據。但時代變了，現在的決策更加實時。一個典型的例子是股票市場。

我們現在需要有關信用卡欺詐或未經授權訪問的即時警報。我們還需要實時電影推薦或閃購提醒，以便快速做出決策。以下是幾個示例：

• 金融服務：實時處理用于監控股市數據并實時識別交易機會。它還用于欺詐檢測和風險管理，其中需要快速處理和分析數據以防止欺詐活動。
• 電子商務：電子商務中使用實時處理來跟蹤客戶行為，例如搜索查詢、點擊和購買，以及實時個性化產品推薦和促銷。
• 醫療保健：實時處理用于監測患者數據，包括生命體征和病史，以識別潛在的健康問題并提供及時的醫療干預。
• 電信：電信中使用實時處理來監控網絡流量并檢測和防止網絡中斷或故障。
• 交通：實時處理用于交通監控交通狀況，優化路線，提高交通網絡的整體效率。

隨著世界向更多實時用例發展，對實施可支持這些流分析的架構的需求將越來越大。2023 年，許多組織將開始致力于支持流式處理、近實時或微批處理用例。

數據架構和數據建模

這些是實現數據平臺的構建塊。從長遠來看，擁有正確的架構藍圖和適當的數據存儲建模策略可以幫助企業更好的管理數據。

隨著 Hadoop 的興起，數據建模已經退居二線。各種形狀和形式的數據在沒有任何建模指導的情況下被發送到數據湖。結果是數據沼澤很快變得很難發現和使用。

自去年以來，我聽過許多行業專家談論適當架構和建模的必要性。數據建模師又回來了，現在公司似乎希望使用最合適的建模方法將數據存儲在數據湖和數據倉庫中：維度模型或數據存儲。這絕對是構建數據平臺的一個重要方面。