大數據的發展已經走到盡頭了嗎?
?對于很多企業來說,數據是一個規模巨大的、幾乎沒有被開發的資源。很多機構和組織大多已經認識到,數據是一項關鍵資產,利用從企業數據中獲得的洞察力比以往任何時候都更為重要。在實踐中,創新者、顛覆者和初創企業在利用數據進行變革、競爭和贏得市場方面要靈活得多。而且,如果他們很好地利用了這些數據,那么他們獲得更多的客戶。他們很可能沒有大企業擁有那么多的數據,但他們更有能力利用這些數據。
大數據是一個流行術語,它定義了一系列方法,許多企業都使用這些方法來開發解決方案,從而產生所需的洞察力。然而,根據Gartner公司和其他機構的統計數,大多數公司都未能通過大數據方法實現其目標。
大數據方法的核心是在企業的大部分數據中集中攝取、轉換、治理和洞察。這將導致在有意義的時間范圍內顯著抑制業務價值交付的瓶頸。它非但沒有促進數據流動,反而被扼殺了。
那么還有別的選擇嗎?
如果有一種基于聯邦制而非集權制的新方法來幫助企業獲得保持競爭力所需的洞察力,那么會怎樣?
對于許多企業來說,數據網格方法解決了他們面臨的挑戰。數據網格的核心是一種基于軟件工程的經過驗證和測試的原則的數據聯邦方法,許多企業已經將其應用于客戶旅程開發。
數據網格的三個原則
數據網格方法利用了現代軟件工程的三個核心原則:
- 域所有權
- 產品開發
- 自助軟件平臺
這些原則使數據解決方案的開發能夠聯合起來,從而可以更快地解鎖重要的更大的洞察力,從而使企業能夠實現業務價值。
(1)域所有權
這采用了當前的域建模原則,并在模型上添加了數據覆蓋層。域模型是問題領域的關鍵概念/對象的可視化表示,是企業的最高級別。它分解一個企業,為業務功能和技術解決方案建立明確的所有權和邊界。這使得基于微服務的軟件工程方法能夠驅動自治和重用。
同樣的域模型可以在企業內部用于建立域數據集的所有權。每個數據集都應該屬于創建/生成數據的域。目的是讓每個數據集由單個域擁有,在需要的地方調整域模型以實現這一結果。
(2)產品開發
這表明,企業將數據視為產品,就像他們將客戶旅程視為產品一樣。
重點是客戶想做的工作,以及幫助他們做到這一點的最佳解決方案。產品團隊是一組具有多種技能的個人,他們將業務人員和技術人員聚集在一起,以盡可能地創造最佳的客戶結果。
將這一應用到數據中,意味著理解企業中不同的數據角色,包括客戶、內部業務用戶、其他工程團隊、B2B合作伙伴和監管機構。這將有助于定義針對不同用戶組要做的工作,從而允許產品團隊專注于解決每個用戶組的挑戰。與域所有權相一致的產品開發將為數據集和用戶結果創建明確的問責結果,使團隊能夠保持步調一致。
(3)自助軟件平臺
數據的自助服務軟件平臺是實現數據網格方法交付結果所需的自主權和敏捷性的核心。在其核心,企業需要像云計算服務提供商一樣思考,并創建一個API驅動的自助數據平臺。該平臺需要提供三組功能,首先是存儲、數據庫、訪問控制等基礎基礎設施。工作流的工程工具,通過基礎設施如代碼和DevOps抽象出基礎設施的復雜性。最后,該平臺需要提供發現、法規遵循和監視的中央管理功能。
實現數據網格的三個原則有助于消除大數據方法中固有的瓶頸。有了數據平臺,每個產品團隊都可以定義他們要做的數據工作,并根據對企業的價值釋放來確定不同用戶結果的優先級。每個產品團隊都可以在分配給他們的投資預算范圍內自主快速地工作。
如何為成功做準備?
實現數據網格方法需要將領域建模和產品開發作為正常軟件工程生命周期的一部分。成功地實現領域所有權和產品開發影響人員、技能和企業設計,這需要從高級利益相關者那里購買才能成功地實現。
許多企業已經在以這種方式對他們的企業進行改造,將數據網格方法作為更廣泛的改造的一部分應該會減少實現數據網格所涉及的總體工作和成本。如果企業已經改變了他們的運營模型,那么數據網格方法是合乎邏輯的下一步,它可以從模型中獲得更多的價值,并緩解大數據方法中固有的許多挑戰。
成功實現數據網格的另一個關鍵因素是確保正確設置自助服務數據平臺。這需要一些預先的思考來定義平臺所需的功能、架構、團隊技能和結構,以實現產品團隊的自主權。它還需要一個理解自助服務平臺的愿景并擁有實現它所需技能的團隊。
最后,建議從小處開始。創建一個MVP自助服務平臺,使一小組非關鍵數據集能夠在企業環境中證明技術和操作模型。
大數據是靈丹妙藥嗎?
數據網格可以通過在更廣泛的利益相關方之間驅動更高級別的自治和數據工程聯盟,克服大數據中固有的許多挑戰。然而,大數據并不是一種靈丹妙藥,它為企業帶來了一系列需要管理的風險。
了解了數據網格方法所帶來的風險,制定了如何降低這些風險的計劃,選擇了支持自助服務平臺的正確架構和支持愿景的利益相關者,企業利用數據的能力就可以發生重大變化。
Neil Mulholland自從2010年以來擔任Enterprise Blueprint公司的首席架構師,自從20世紀90年代以來一直從事數字與集成架構工作。最近,他在幫助企業大規模采用敏捷方法方面發揮了重要作用,他關注的是架構和架構治理如何在這種環境中工作。
Neil認為,信任是通過展示專注于對客戶最重要的事情的能力來獲得的。理解客戶的需求,實現他們想要的結果,對于確定成功的解決方案和建立長期、互利的伙伴關系至關重要。
Neil通過非正式和正式的架構團隊指導為客戶的企業做出貢獻,幫助他們通過更好的解決方案和操作方法提高整個架構團隊的技能。他非常喜歡嘗試新技術,并學習如何最好地將其應用于解決客戶問題,但不喜歡在引入新技術時出現陡峭的學習曲線,因為這會延遲真正的采用。?