數(shù)據網格2.0:兌現(xiàn)去中心化的承諾
譯文譯者 | 布加迪
審校 | 重樓
“數(shù)據網格”正迎來重大時刻。通過谷歌新聞粗略地搜索一下,你會看到幾十個相關的結果,而且種類繁多。隨著眾多新技術不斷進步,這種情況正在發(fā)生。此外,連大有希望的學科也會迅速銷聲匿跡,一些學科在沒有達到最初效果的情況下卻存活下來。這是變化萬千的領域,迅速變化是一個永恒的主題。但即使有這些警告,數(shù)據網格這種不斷發(fā)展的架構可能也值得關注。
即使從數(shù)據驅動的業(yè)務實踐方面的正常變化來看,數(shù)據網格似乎也為重大變化提供了真正的潛力。我們不斷邁向真正以數(shù)據為中心的文化;在這種環(huán)境中,每一個戰(zhàn)略決策和業(yè)務運營都由可操作的情報作為指導,這些信息是通過實時分析海量原始數(shù)據獲取的,數(shù)據網格可能會成為重大的里程碑。
問題是,這樣一種關鍵的旅程由許多里程碑組成,正如沒有哪種單一的技術解決方案可以一應俱全。數(shù)據網格是堅實的基礎,但是如何將它與其他方法結合起來以提供更大的好處?如果數(shù)據網格這么好,數(shù)據網格2.0會是什么樣子呢?
先介紹一下背景。雖然數(shù)據網格常常與數(shù)據湖和數(shù)據倉庫歸為一類,但它實際上并不屬于這一類。數(shù)據湖和數(shù)據倉庫本質上是用來存儲或移動數(shù)據的技術;相反,數(shù)據網格直接關注數(shù)據本身。這種架構更容易使數(shù)據所有權能夠分布在多個以業(yè)務為中心的領域和相似的用戶群,而不是單一的集中式權限。這種民主化帶來了眾多相關的好處,從跨異構基礎設施的分析到根據業(yè)務需求進行擴展,不一而足。
在最好的情況下,這代表一種非凡的愿景。在數(shù)據網格中,數(shù)據不再由新一代的精英專家和管理員囤積;業(yè)務專業(yè)人員可以訪問它來幫助完成工作。本來就始終應該是這樣。
但最好的還在后頭。去中心化架構的廣闊前景遠未實現(xiàn)。當然,已經有了一些實施和項目,但它們的應用范圍比較有限。“數(shù)據網格成功案例”一欄幾乎空白。
我們可以做得更好,而這始于幾個核心原則。
首先,需要在完整的上下文中理解基于領域的數(shù)據所有權這一概念。這不僅僅是集中式權力結構的變化,還意味著數(shù)據不再屬于特定的應用程序或監(jiān)督這些應用程序的技術人員,而是屬于業(yè)務本身。新興技術將數(shù)據與創(chuàng)建或存儲數(shù)據的應用程序分離開來,它們是做到這點的最佳方法——這些解決方案如今在市面上可以找到。這是具有重大影響的根本性變化,需要對由來已久的最佳實踐進行重大改變。
其次,企業(yè)需要具備能夠將數(shù)據作為產品來管理。這不再是復雜技術的附帶輸出——數(shù)據而是一種特定的、可識別的、離散的產品,可以由一個或多個業(yè)務領域單獨擁有和管理。更準確地說,我們談論的是數(shù)據產品,不是一個產品,而是多個產品,開發(fā)所有產品是為了支持分析系統(tǒng)和操作系統(tǒng)。這是革命性的,盡管它只是從另一個層面實現(xiàn)了我們長期以來的愿景,即數(shù)據作為一種企業(yè)資產,可以與其他更有形的資源共同占有一席之地。
接下來,想象一下自助式數(shù)據平臺的好處。這構成了元數(shù)據驅動的數(shù)據瀏覽器,業(yè)務用戶和技術人員都可以用它來進行協(xié)作,比如發(fā)現(xiàn)、訪問、改變、創(chuàng)建甚至生成數(shù)據,而無需生成新的孤島。毫無疑問,數(shù)據集成是數(shù)字時代的基礎:存儲在企業(yè)內部的海量數(shù)據被存放在(或者更確切地說被鎖放在)孤島中,數(shù)據在孤島中是安全的,卻是隔離的。整理來自不同孤島的相關數(shù)據無疑很痛苦。這非常基本,也非常普遍,所以這些數(shù)字仍會讓人感到驚訝,但是與集成相關的任務可能會消耗一半的IT預算。借下一代數(shù)據平臺推動的數(shù)據網格架構對于消除這個問題大有助益。
最后,還有聯(lián)合計算治理問題。在與安全和合規(guī)相關的一系列規(guī)定和法規(guī)要求更強的治理環(huán)境下,這種高瞻遠矚的解決方案提供了將來自數(shù)據產品和業(yè)務領域所有者的治理策略嵌入到數(shù)據本身中的能力。這帶來了巨大的操作優(yōu)勢:無論最終用戶如何體驗數(shù)據——不管設備或其他接觸點如何,不管涉及什么應用程序,也不管來自任何位置,都能保證權限、控制、策略和隱私依然一致。
雖然這些原則不同于數(shù)據網格方法的核心,但它們完美互補。能夠實現(xiàn)真正數(shù)據民主化的去中心化架構具有不可抗拒的吸引力,現(xiàn)在業(yè)務用戶而不是IT部門決定購買什么硬件、使用什么軟件和下載哪些應用程序,業(yè)務部門和公司高管越來越有權力決定該分析什么數(shù)據,以及開發(fā)什么自定義數(shù)據產品以滿足業(yè)務優(yōu)先級。
數(shù)據網格已經存在了很長時間,我們已經看到了它的好處,并意識到需要數(shù)據網格2.0。未來肯定會有更多的進步。但就目前而言,這種架構的下一次迭代將使我們比以往任何時候更深入地走向以數(shù)據為中心的環(huán)境。
原文標題:Data Mesh 2.0: Realizing the Promise of Decentralization,作者:Karanjot Jaswal