譯者 | 布加迪

策劃 | 云昭

數(shù)據(jù)網(wǎng)格正迅速成為數(shù)據(jù)領域的一種重要架構模式。我們IT人士有這樣一種習慣：創(chuàng)造流行語，然后緊跟潮流。然而，數(shù)據(jù)網(wǎng)格并不是僅僅是流行詞，原因是它有望徹底改變我們處理和查看數(shù)據(jù)的方式。這將對數(shù)據(jù)是關鍵要素的所有領域都會有影響。

當前數(shù)據(jù)級別的報告單

在我們將數(shù)據(jù)提升到下一個級別之前，簡要介紹一下當前數(shù)據(jù)級別的進度或報告單。下圖顯示了數(shù)據(jù)在如今的 IT系統(tǒng)中通常是如何處理的。

圖1. 來自諸系統(tǒng)的數(shù)據(jù)流入DWH或數(shù)據(jù)湖

如上所示，來自諸多事務/運營和外部系統(tǒng)的數(shù)據(jù)將通過ETL作業(yè)網(wǎng)絡流入數(shù)據(jù)倉庫。在最終消費者可以聚集/匯總和使用這些數(shù)據(jù)之前，將完成許多活動，比如清理和轉換等。

幾十年來，這種方法一直屢試不爽。但在當今數(shù)據(jù)無處不在的世界，這種方法卻遇到了瓶頸。現(xiàn)代數(shù)據(jù)湖方面也是如此。事實上，在大多數(shù)情況下，數(shù)據(jù)湖的情況更糟。

大數(shù)據(jù)/物聯(lián)網(wǎng)和數(shù)據(jù)流出現(xiàn)后，大多數(shù)組織不知道如何處理數(shù)據(jù)。雖然它們知道數(shù)據(jù)是新的石油，但不知道如何提煉和使用這種油。它們甚至對想要使用這些數(shù)據(jù)來處理的分析用例沒有太多想法。也許數(shù)據(jù)湖這個流行語使它們隨波逐流。由于別人都在搞數(shù)據(jù)湖，所以越來越多的人開始仿而效之。

前面說過，數(shù)據(jù)湖方面的情況更糟。主要原因是，就數(shù)據(jù)倉庫而言，大多數(shù)組織仍采用某種治理和策略。但是就數(shù)據(jù)湖而言，在大多數(shù)情況下，所有類型的數(shù)據(jù)（結構化/日志/流數(shù)據(jù)等）都只是被轉儲到某種廉價存儲系統(tǒng)中，其想法是將來會有相應的用例，能夠得益于正在開挖的這個新油田。但愿望并不總是成真。

報告單中一些有待改進的方面

?隨著數(shù)據(jù)集中起來，加上數(shù)據(jù)無處不在，數(shù)據(jù)的數(shù)量和速度變得如此龐大，因此集中式系統(tǒng)無力處理。

?數(shù)據(jù)工程師/數(shù)據(jù)倉庫團隊對運營數(shù)據(jù)、領域和復雜性了解不多。

?如何在這種系統(tǒng)中處理變更方面沒有太多的靈活性可言。

應用程序層如何提升到下一個級別？

在過去幾年，領域驅動設計和微服務確實改變了應用程序層的處理方式。一個龐大的單體應用系統(tǒng)被轉換成特定領域的功能或微服務。這讓領域團隊得以專注于各自針對特定領域的功能。他們對各自領域了如指掌，更不用說我們在這類環(huán)境中看到的敏捷性了（當然，還有出色的工具和流程，比如CI/CD、DevOps和容器等）。

圖2

使用領域驅動設計將單體應用程序轉換成微服務

如果只看上面兩張圖，會發(fā)現(xiàn)我們在應用程序層和數(shù)據(jù)層采取了完全相反的方法。在應用程序層，我們只是將單體應用程序分解成多個較小的單元，而在數(shù)據(jù)庫層，我們將來自各個領域的數(shù)據(jù)放入到一個龐大的單體單元中。

這時候數(shù)據(jù)網(wǎng)格有了用武之地。不妨快速了解一下這個數(shù)據(jù)網(wǎng)格到底是什么。

數(shù)據(jù)網(wǎng)格架構將定義、創(chuàng)建、管理和共享數(shù)據(jù)產(chǎn)品的自主權賦予業(yè)務領域。所以基本上，每個業(yè)務領域都將擁有自己的數(shù)據(jù)。它們可以使用API等手段與消費者共享，但它們管理數(shù)據(jù)的整個生命周期。

1）由于沒有一個龐大的集中式單體應用程序，單個數(shù)據(jù)產(chǎn)品可以更好地擴展（分布式擴展）。

2）每個領域團隊擁有并管理其數(shù)據(jù)和產(chǎn)品（聯(lián)合數(shù)據(jù)治理）。

3）每個產(chǎn)品團隊比任何集中式團隊更了解其數(shù)據(jù)和領域。

4）更好的敏捷性。

一點建議

如開篇所述，不要輕信流行語。數(shù)據(jù)網(wǎng)格到底是流行語還是非常適合？只有評估后才能做出決定。我發(fā)現(xiàn)許多人做錯了SOA，做錯了P2P，甚至做錯了REST和微服務，當然還做錯了數(shù)據(jù)湖。明智的決定的前提，是要看看它是否適合自己。

原文標題：Data Mesh — Graduating Your Data to Next Level，作者：Rohit Dhall

鏈接：??https://dzone.com/articles/datamesh-graduating-your-data-to-next-level??