?當(dāng)下正處于數(shù)據(jù)向云端大規(guī)模遷移過程中，很大程度上是因?yàn)橄冗M(jìn)分析和人工智能的需要以及它們所能帶來的競爭優(yōu)勢所驅(qū)動。然而，在獲得這種大數(shù)據(jù)回報(bào)之前，公司必須有效地管理他們在云中的爆炸性數(shù)據(jù)資產(chǎn)，這就是事情變得有趣的地方，根據(jù)Capital One委托的一份新的Forrester報(bào)告，該公司在云遷移戰(zhàn)爭中也有自己的瘡疤。

Forrester特咨詢公司的新報(bào)告中有幾個(gè)有趣的花絮，該報(bào)告的標(biāo)題是“新的數(shù)據(jù)管理模型對在云中運(yùn)營至關(guān)重要”，它基于對北美157名數(shù)據(jù)決策者的調(diào)查。

對于初學(xué)者來說，云計(jì)算之旅在大多數(shù)商店中仍處于萌芽階段。盡管公共云發(fā)展迅速，但近75%的數(shù)據(jù)決策者告訴Forrester，他們還沒有開始在云上管理公司的大部分?jǐn)?shù)據(jù)。

超過半數(shù)的受訪公司(56%)告訴Forrester，他們正在以一種集中的方式管理數(shù)據(jù)，這需要使用數(shù)據(jù)集成和ETL工具將所有數(shù)據(jù)整合到一個(gè)數(shù)據(jù)豎井中。報(bào)告稱，19%的人表示他們經(jīng)營著一個(gè)去中心化的數(shù)據(jù)商店。

過去，大多數(shù)公司都使用單一的數(shù)據(jù)管理工具供應(yīng)商來滿足他們的大部分?jǐn)?shù)據(jù)管理需求。今天，這種情況在很大程度上仍然存在。但Forrester稱，未來24個(gè)月，使用多個(gè)數(shù)據(jù)管理供應(yīng)商來滿足多種數(shù)據(jù)需求的公司數(shù)量預(yù)計(jì)將激增至近40%。

另一個(gè)數(shù)據(jù)障礙是:數(shù)據(jù)很混亂(對大多數(shù)數(shù)據(jù)應(yīng)用來說，這并不奇怪)。Forrester的報(bào)告指出了普遍存在的數(shù)據(jù)質(zhì)量差、缺乏數(shù)據(jù)編目、難以理解數(shù)據(jù)以及缺乏數(shù)據(jù)可觀察性的例子。

每個(gè)公司都希望擁有一個(gè)治理良好的數(shù)據(jù)資產(chǎn)，但現(xiàn)實(shí)以某種方式干預(yù)了這一過程，結(jié)果是大多數(shù)公司在這個(gè)部門舉步維艱。Forrester報(bào)告稱，82%的受訪者表示，他們的數(shù)據(jù)治理政策令人困惑，80%的受訪者難以大規(guī)模管理數(shù)據(jù)，并因缺乏權(quán)利和基于角色的數(shù)據(jù)訪問而遭受損失。

成本也是有效管理云數(shù)據(jù)資產(chǎn)的一大障礙。Forrester說，參與調(diào)查的人中有82%認(rèn)為預(yù)測和控制成本是一項(xiàng)挑戰(zhàn)。報(bào)告稱:“曾經(jīng)精心規(guī)劃和預(yù)算的辦公場所現(xiàn)在變得不可預(yù)測。”

最后，由于缺乏合適的人才和技能，企業(yè)無法充分利用其云數(shù)據(jù)資產(chǎn)。

Capital One之前在內(nèi)部數(shù)據(jù)中心運(yùn)行了一個(gè)Teradata數(shù)據(jù)倉庫，其中包含大約500 TB的數(shù)據(jù)。該公司在2020年關(guān)閉了最后一個(gè)預(yù)部署數(shù)據(jù)中心，現(xiàn)在依靠AWS和Snowflake云來運(yùn)行其50 PB數(shù)據(jù)湖/數(shù)據(jù)倉庫，價(jià)值約4200億美元的資產(chǎn)。

有成千上萬的用戶運(yùn)行數(shù)百萬次查詢，企業(yè)想要一個(gè)數(shù)據(jù)平臺，可以擴(kuò)展到滿足業(yè)務(wù)需求。但這種無限的能力和無限的計(jì)算的結(jié)果是，可以很容易地產(chǎn)生數(shù)據(jù)混亂。如果在提供數(shù)據(jù)平臺的方式上沒有適當(dāng)?shù)墓芾砗瓦m當(dāng)?shù)某杀究刂拼胧罱K可能會揮霍掉所有的信用。

Capital One沒有向軟件供應(yīng)商尋求解決方案，而是在公司內(nèi)部處理了這個(gè)問題。它開發(fā)了自己的自助服務(wù)工具，允許業(yè)務(wù)人員管理自己的數(shù)據(jù)，并在需要時(shí)提供計(jì)算資源，同時(shí)通過內(nèi)置在軟件中的“護(hù)欄”來堅(jiān)持成本控制和數(shù)據(jù)治理要求。

Capital One認(rèn)為自己開發(fā)的軟件足夠好，現(xiàn)在甚至可以拿來銷售。因此在6月，Capital One在Snowflake平臺推出了第一套數(shù)據(jù)管理工具，名為Slingshot。

Slingshot的客戶會喜歡使用單一的、集成的套件以數(shù)據(jù)網(wǎng)格類型的方式管理Snowflake信息，而不是在一群不同的工具之間切換。

數(shù)據(jù)管理行業(yè)不需要顛覆，但它需要簡化。可能有數(shù)百家公司擁有垂直的數(shù)據(jù)管理解決方案——一個(gè)解決方案處理目錄，一個(gè)譜系，一個(gè)數(shù)據(jù)質(zhì)量，然后有數(shù)據(jù)加載工具，數(shù)據(jù)轉(zhuǎn)換工具。Capital One遵循數(shù)據(jù)網(wǎng)格原則來管理其云數(shù)據(jù)資產(chǎn)和新的壓縮軟件業(yè)務(wù)。

云在很大程度上解決了硬件伸縮性問題，為所有實(shí)際用途提供了無限的基礎(chǔ)設(shè)施。云中的托管服務(wù)的可用性也讓客戶擺脫了軟件和應(yīng)用程序框架維護(hù)業(yè)務(wù)，這是另一個(gè)巨大的優(yōu)勢。

正如Forrester的報(bào)告所顯示的那樣，隨著這些實(shí)現(xiàn)規(guī)模化的障礙被消除，客戶大量涌入云計(jì)算，圍繞數(shù)據(jù)管理和治理的新挑戰(zhàn)也出現(xiàn)了，該行業(yè)仍在努力應(yīng)對這些挑戰(zhàn)。capital One提出的解決方案沒有采用舊的自上而下的方法，即重新集中數(shù)據(jù)并取消自助服務(wù)，而是圍繞著利用數(shù)據(jù)，使數(shù)據(jù)保持去中心化，同時(shí)使用一組通用的工具和政策，這在?今天被稱為數(shù)據(jù)網(wǎng)格。