就像其他領域一樣，2020年顛覆了數據世界。當COVID關閉企業并派遣員工在家工作時，企業必須迅速適應“新常態”。

[[382015]]

隨著組織轉移到遠程工作，云成為絕對必要。數據治理和安全性成為重中之重，每個人都從不同的位置和系統訪問數據。現在，歷史模型已經變得毫無意義，因此智慧的AI變得越來越有吸引力。簡而言之，組織意識到他們需要快速進行更改。數據投資增加，組織尋求升級其系統并創建完美的數據堆棧。

有了2020年的后視鏡，我們現在正期待著新的一年，并希望更好的一年。2021年將為數據世界帶來什么?數據基礎架構將如何發展以跟上所有最新的創新和變更?

今年，我們將看到幾個新的數據趨勢：新數據角色和數據質量框架的出現，現代數據堆棧和現代元數據解決方案的興起以及數據湖和倉庫的融合。

1.數據湖和倉庫正在融合

在過去的十年中，數據架構師圍繞兩個關鍵單元設計了數據操作：

• 數據湖：便宜的存儲空間，可以存儲大量的原始數據甚至是非結構化數據。數據湖架構通常非常適合臨時探索和數據科學用例。
• 數據倉庫：傳統上，數據倉庫具有優化的計算和處理速度。這對于報表和商業智能很有幫助，使倉庫成為分析團隊的首選系統。

如今，許多公司仍然使用這兩種系統-所有數據的數據湖，以及用于分析和報告用例的專用數據倉庫。

雖然還沒有到此，但隨著數據湖和倉庫都增加了更多功能，我們開始看到兩個生態系統融合在一起。

像Snowflake這樣的數據倉庫已經將存儲和計算成本分開了，從而大大降低了將所有數據存儲在數據倉庫中的成本。更進一步，一些數據倉庫參與者已經開始增加對半結構化數據的支持。

另一方面，諸如Databricks之類的數據湖參與者已經開始朝著“數據湖舍”的概念邁進，他們最近宣布支持SQL分析和ACID事務。

了解更多：

• Data Lakehouses：一種新興的系統設計，將數據倉庫中的數據結構和管理功能與數據湖的低成本存儲相結合。
• 偉大的數據辯論：a16z播客的很酷的一集，其中包含有關數據堆棧中出現的不同技術和體系結構的發人深省的注釋。

2.“現代數據棧”成為主流

從2020年開始，“現代數據堆棧”一詞在數據世界中無處不在。它指的是用于處理大量數據的新型最佳現代數據體系結構。

強大的云平臺是現代數據堆棧的關鍵支柱之一。最初以云數據倉庫為中心，現在也開始包括云數據湖和相關的數據湖引擎。

如今，現代數據堆棧為數據工作流的每個部分提供了一套工具：

• 數據提取：例如Fivetran，Stitch，Hovodata
• 數據倉庫：例如雪花，BigQuery
• 數據湖：例如亞馬遜S3
• 數據湖處理：例如Presto，Dremio，Databricks，Starburst
• 數據轉換：例如dbt，Matillion
• 元數據管理：例如亞特蘭
• BI工具：例如外觀

了解更多：

現代數據基礎架構的新興體系結構：基于對20多個從業人員的訪談，深入，深入地了解了哪些技術在現代數據堆棧中取勝。

2020年現代數據堆棧大會：Fivetran的第一次現代數據堆棧大會的資源，有關最新的創新，工具和最佳實踐。

《現代數據堆棧新聞》：每兩周發布一次的新聞通訊，其中包含有關現代數據堆棧的博客，指南和播客。

3.元數據3.0：元數據管理重生

隨著現代數據堆棧的成熟，公司已開展了雄心勃勃的項目來升級其數據基礎架構并理清基本數據需求(即，提取數據，包裝云遷移項目以及設置新的BI工具)。這些雖然釋放了很多潛力，但也造成了混亂。

諸如“此列名稱實際上意味著什么?”之類的上下文問題。和“為什么儀表板上的銷售數字又出錯了?”殺死那些以驚人速度前進的團隊的敏捷性。

盡管這些不是新問題，但我們正處于新的顛覆性解決方案的風口浪尖。隨著現代數據平臺圍繞五個主要參與者(AWS，Azure，Google Cloud Platform，Snowflake和Databricks)匯聚，并且元數據本身正在成為大數據，因此，將智能和自動化帶入元數據空間具有巨大的潛力。

在接下來的24到36個月內，我們將看到為現代數據棧構建的一個或多個現代元數據管理平臺的興起，該平臺可解決數據發現，數據分類，數據沿襲和可觀察性的問題。

了解更多：

Data Catalog 3.0：我的文章介紹元數據解決方案的過去和未來，以及為什么我們要在為現代數據堆棧創建現代元數據方面取得巨大飛躍。

4.出現了新角色：分析工程師和數據平臺負責人

2020年，兩個角色的興起比以往任何時候都更為主流。

數據平臺負責人

組織越來越意識到需要有一個負責開發數據平臺的中央團隊，以幫助組織的其他成員更好地開展工作。當然，這個團隊需要一個領導者。

過去，這是由更傳統的角色(如數據倉庫專家或數據架構師)來處理的。現在，擁有數據領導者變得很普遍，他可以領導整個組織的數據計劃。這些人的頭銜范圍很廣，例如“數據平臺負責人”或“數據平臺主管”。

數據平臺負責人通常負責監督公司數據堆棧的現代化(或從頭開始，以供初創企業使用)。這包括設置云數據湖和倉庫，實施數據治理框架，選擇BI工具等等。

這個新角色伴隨著一個重要的新KPI：最終用戶采用率。這是指領導者具有使組織中的人員和團隊在日常工作流程中采用數據(和數據平臺)的能力。這是一個可喜的變化，因為它決定了決定投資哪些數據產品的人們與最終使用該產品的人們的動機。

分析工程師

在過去的十年中，與我交談的每個分析師都感到一個主要的挫敗感：依靠數據工程師進行生產化和建立數據管道。

強大的基于SQL的管道構建工具(如dbt和Dataform)的興起使這種情況變得更好。通過賦予分析人員超能力，他們將整個數據轉換過程交給了數據分析人員。

結果就是“分析工程師”一詞的興起，該術語描述了以前的分析師，他們現在擁有從攝取和轉換到最終將可用數據集提供給其余業務的整個數據棧。

了解更多：

什么是分析工程師?dbt的克萊爾·卡羅爾(Claire Carroll)的一篇文章，介紹了為什么以及如何支持新的分析工程角色。

5.數據質量框架正在上升

在過去的二十年里，數據質量是一個沒有太多創新的空間。但是，它最近取得了長足的進步，并且整個數據堆棧都集成了數據質量的不同方面。

數據質量分析

數據概要分析是檢查數據以了解其內容和結構，檢查其質量并確定將來如何使用的過程。

在數據資產的整個生命周期中，概要分析可能會發生多次，從淺層評估到深入評估。它包括計算缺失值，最小值和最大值，中位數和眾數，頻率分布以及其他有助于用戶了解基礎數據質量的關鍵統計指標。

盡管數據質量概要分析通常是數據堆棧中的獨立產品，但是公司越來越多地將其作為功能集成到現代數據目錄中，從而使最終用戶能夠理解和信任他們的數據。

業務驅動的數據質量規則

數據質量不僅僅是關于數據的統計理解。根據業務環境，還取決于數據是否值得信賴。

例如，您的銷售數字通常每周增長不應超過10%。100%的銷售激增應提醒合適的團隊成員并停止數據管道運行，而不是將其傳遞給CEO使用的儀表板!

對智能警報的需求已導致組織將業務團隊帶入編寫數據質量檢查的過程。

數據團隊仍然沒有一種很好的方式與業務部門合作進行數據質量檢查，但是我希望這個領域在未來的幾年中會帶來很多創新。將來，我們將看到更智能的解決方案，它們可以根據數據趨勢自動生成業務驅動的數據質量規則。

數據管道中的數據質量測試

數據質量變得普遍的第三種方式是將其寫入數據管道本身。這借鑒了軟件工程界“單元測試”的原理。

多年來，軟件工程已包含單元測試框架。它們會自動測試每個單獨的代碼單元，以確保它們可以使用。管道模擬單元測試框架中的數據質量測試可為數據工程帶來相同的信心和速度。

這有助于團隊在上游數據更改影響組織的工作流和報告之前發現其數據質量問題。

了解更多：

• 亞馬遜Deequ：Deequ是在亞馬遜內部構建的，是用于數據質量分析的有前途的開源框架。
• 寄予厚望：這正在成為一個流行的開源社區，用于在數據管道內進行數據質量測試。
• Netflix關于擴展數據質量的演示：對于任何開始從事數據質量之旅的數據領導者來說，這都是一個有趣的閱讀。