?譯者 | 陳峻

審校 | 孫淑娟

如今，由各行各業產生和分發的數據體量，正在以驚人的速度爆發式地增長著。根據??Statista的報告??，截至2023年前，全球已有約120澤字節（zettabytes）的數據，而預計到2025年，這一數字將達到181澤字節。

來源：statista.com

隨著數據量的繼續快速增長，大家對于高效數據管理和可觀察性的解決方案與工具的需求也在增加。其實，數據的實際價值在于它如何被利用。我們僅僅收集和存儲數據是遠遠不夠的，必須正確地利用和使用它們，才能獲得有價值的見解。這些見解可能關于人口統計，也可能涉及到消費者行為，甚至是對未來的銷售預測，為業務決策過程提供真實可信的資源。此外，通過實時的數據，企業也可以快速做出明智的決策，以適應市場，并把握瞬間即逝的商機。不過，這些都是基于優質的數據前提，而如果數據本身雜亂且已過時、那么就可能產生誤導性的效果。因此，我們的重點應當放在提升數據質量上。

DataOps的本質

作為一組優秀實踐和工具，??DataOps??旨在增強數據的管理操作，任務的協作、集成和自動化。DataOps尋求通過集成和面向過程的方法，來提高數據管理的質量、速度和協作效率，并利用類似于DevOps的自動化和敏捷軟件工程的實踐，來加速和簡化準確數據的交付過程[1]。它可以被用來幫助企業和組織更好地管理其數據管道，減少開發與部署新的數據驅動應用所需的工作量和時間，進而提高數據的質量。

了解了DataOps的概念，下面讓我們來深入研究DataOps的關鍵組件。通常，其關鍵組成部分包括：數據集成、數據治理、數據編排、數據質量管理、以及DataOps的可觀察性。

數據集成

數據集成涉及到對變更的代碼進行整合與測試，并及時將它們部署到生產環境中，確保數據在集成的過程中，以及在交付給適當的團隊時的準確性和一致性。

數據治理

數據治理需要確保數據的收集、存儲和使用，不但能夠具有一貫性，而且合乎道德和法規。

數據編排

數據編排有助于管理和協調管道中的數據處理過程，指定和安排任務，以及通過處置錯誤，來自動化和優化流經數據管道的數據流。這對于確保數據通過數據管道的平穩運行、及其性能都是至關重要的。

數據質量管理

數據質量管理涉及到識別、糾正和防止數據中的錯誤或不一致，確保所使用的數據是高度可靠和準確的。

DataOps可觀察性

DataOps可觀察性是指監控和理解數據管理中，涉及到的各種流程和系統的能力。其首要目標是確保數據的可靠性、可信度、以及商業價值。它關注的是從監控和分析數據管道，到維護數據質量，以及通過財務和運營效率指標，去全面證明數據的商業價值。DataOps可觀察性使企業和組織能夠提高其數據管理流程的效率，并更好地利用其數據資產。因此，它有助于確保數據準確、可靠且易于訪問，進而幫助企業和組織做出由數據驅動的決策，優化與數據相關的各類成本與支出，并從中產生更多的價值。

DataOps可觀察性工具，可簡化數據的管理、成本和協作流程

DataOps最具挑戰性的一個方面是，集成各個數據源，并確保數據的質量、治理、編排、成本管理、以及可觀察性。同時，DataOps旨在簡化此類流程，并改善團隊之間的協作，使企業能夠做出更好的數據驅動決策，進而實現更高的性能和輸出[2]。下面，我們將介紹一系列企業可以用來簡化數據管理、成本和協作流程的優秀DataOps工具，以及它們在DataOps可觀察性方面的能力。

數據整合工具

市場上有各種各樣的DataOps工具，選擇合適的工具可能是一項非常艱巨的任務。為了幫助企業做出明智的決策，我們在此編制了一份可用于管理數據驅動流程的DataOps工具列表。

1.??Fivetran??

Fivetran是一個非常流行且被廣泛采用的數據集成平臺。它簡化了將各種數據源連接到集中式數據倉庫的過程[3]。這使得用戶或企業能夠在同一處，去輕松地分析和可視化他們的數據，而無需從多個不同來源，手動提取、轉換和加載(ETL)數據。

Fivetran為范圍廣泛的數據源提供了一組預構建的??連接器??。其中包括：流行的數據庫、云應用程序、SaaS應用程序、以及flat文件（一種包含沒有相對關系結構記錄的文件）。這些連接器能夠自動執行數據的提取過程，確保數據始終是最新且準確的。而一旦數據進入中央數據倉庫，Fivetran就會執行模式發現和數據驗證，根據數據源的結構，自動在數據倉庫中創建表和列，從而非常容易地建立和維護數據管道，而無需人工編寫自定義的代碼。

同時，Fivetran還提供重復數據的刪除、增量數據的更新、以及實時數據的復制等功能。這些功能都有助于確保數據的完整、最新和準確。

來源：fivetran.com

2.??Talend Data Fabric??

Talend Data Fabric解決方案旨在幫助企業和組織確保他們擁有健康的數據，以鞏固控制、降低風險、以及推動數據的價值。該平臺結合了??數據集成??、??完整性??和??治理??，以提供企業和組織在決策過程中，可信賴的數據。同時，Talend可以幫助企業建立客戶忠誠度，提高運營效率，并實現IT基礎架構的現代化。

Talend獨特的??數據集成方法??使得企業和組織可以輕松地將多個數據源的數據整合到一起，并為他們的所有業務決策提供支持。也就是說，它幾乎可以將任何數據類型，從任何數據源集成到任何數據目的地（即，本地或云端）。該平臺非常靈活，允許企業和組織一次性構建數據管道，并能在任何地方運行，而無需被供應商或平臺鎖定。同時，作為一體化的解決方案，它還能夠將數據集成、數據質量、以及數據共享，集中到一個易用的平臺上。

Talend Data Fabric的數據集成功能，主要包括前文提及的數據集成、??管道設計器???、??數據庫存???、??數據準備???、??變更數據捕獲???、以及??數據拼接??。這些工具既使得數據的集成、發現、搜索、以及共享等環節更易于管理，又能夠讓用戶快速地準備數據，集成數據，可視化數據，保持數據為最新，以及安全地轉移數據。

來源：http://talend.com/

3.??StreamSets??

StreamSets是一個功能強大的數據集成平臺。它能夠讓企業控制和管理，從各種批處理和流媒體源，到現代化分析平臺中的數據流。您可以使用其協作式可視化管道，去設計在邊緣、本地或云端部署和擴展的數據流，通過映射和監控它們，以實現端到端可見化[4]。同時，該平臺還允許用戶通過??數據SLA??，來獲得數據的高可用性、以及保障數據的隱私。

StreamSets使企業和組織能夠通過其可視化的管道設計、測試和部署功能，消除對于專業編程技能的需求，從而通過直觀的圖形用戶界面，快速啟動項目。由于StreamSets平臺可以自動處理各種意外的變化，因此避免了因脆弱的管道所導致的數據丟失。此外，該平臺還包含一個帶有指標、警報、以及能夠向下“深挖”的實時數據地圖，以便企業輕松、高效地集成數據。

來源：http://streamsets.com/

4.??K2View??

作為企業級DataOps工具，K2View通過提供一個用于實時數據集成的??數據結構平臺??，方便了企業和組織提供個性化的體驗[6]。K2View的??企業級數據集成工具??可集成任何類型的數據源，并通過諸如：??批量ETL??、反向ETL、數據流、數據虛擬化、基于日志的??CDC??、基于消息的集成、以及SQL和API等各種方法，便于各個消費方（consumer）輕松地訪問數據。

K2View可以從各種來源和系統中提取數據，通過實時的洞察來增強數據，將其轉換成特定的??微數據庫???，并通過單獨地壓縮和加密微數據庫，來確保其性能、可擴展性、以及安全性。同時，它也能夠即時地運用??數據屏蔽??、轉換、以及編排工具，使已授權的消費方可以在遵守數據隱私和安全規則的前提下，訪問任何格式的數據。

來源：https://www.k2view.com/

5.??Alteryx??

作為一個非常強大的數據集成平臺，Alteryx允許用戶輕松地訪問、操作、分析和輸出數據。該平臺使用的是拖放式界面（即：低代碼/無代碼界面），包含了80多種用于數據混合、預測分析、以及數據可視化的工具和連接器[7]。它既可以被按需單次使用，又可以被作為“工作流”重復使用。而Alteryx構建工作流的方式，也可以被作為流程文檔的一種形式，以便用戶查看、協作、支持和增強流程。同時，該平臺可以將數據讀取和寫入至文件、數據庫和API，以便用于預測分析和地理空間分析。

目前，Alteryx已作為更快、更高效地自動化數據集成過程，被用于各個行業和功能領域。一些常見用例包括：在電子表格中組合和操作數據、補充性的SQL開發、各種API、（混合）云訪問、數據科學、地理空間分析、以及創建報告和儀表板。

值得注意的是，Alteryx經常被數據分析師用作ETL工具，通過讓業務用戶在不依賴IT的情況下，自由地訪問、操作和分析數據，進而為業務用戶賦能。

來源：http://alteryx.com/

數據質量測試和監控工具

1.??Monte Carlo??

Monte Carlo是業界領先的企業數據監控和可觀察性平臺。它提供了一個端到端的解決方案，可用于跨數據倉庫、數據湖、ETL和商業智能平臺的數據問題監控和警告。通常，它使用機器學習（ML）和人工智能（AI），來了解數據，并主動識別與數據相關的問題，評估其影響，進而通知相關人員。由于該平臺能夠自動、及時識別問題的根本原因，因此相關團隊可以更快地聯調并解決問題。同時，它也提供自動化的、字段級別的??解析??（field-levellineage）、數據發現、以及集中式數據編錄。這些都能夠讓數據分析團隊更好地了解其數據資產的可訪問性、位置、健康狀況、以及所有權。此外，該平臺在設計時，還考慮到了安全性，可以根據用戶提供的技術棧進行相應的擴展，并通過包含無代碼或低代碼功能函數，方便使用現有的數據棧，來輕松實施。

來源：http://montecarlodata.com/

2.??Databand??

Databand是IBM最近收購的一個數據監控和可觀察性平臺。它可以協助組織在業務受到影響之前，檢測并解決數據的相關問題。該平臺提供了從源數據開始的端到端式數據管道視圖，以便企業和組織能夠及早地發現問題，并將??平均檢測時間??(MTTD)?和??平均解決時間??(MTTR)從數天和數周，減少到數分鐘。

Databand的一個關鍵特性是，它能夠自動從??Airflow???、??Spark???、??Databricks???、??Redshift???、以及??Snowflake???等現代數據技術棧中，??收集元數據??。此類元數據可被用于構建常見的數據管道行為的歷史基線，以便組織能夠了解從源頭到目的地的每個數據流。

同時，Databand也提供了事件管理、端到端的解析、數據可靠性監控、數據質量指標、異常檢測、以及DataOps警報和路由功能。據此，企業和組織可以提高數據的可靠性和質量，并能可視化數據事件是如何影響數據棧的上、下游組件的。也就是說，Databand的組合功能為各種數據事件提供了統一的解決方案，以便數據工程師能夠專注于構建現代化的數據棧，而不是疲于修補。

3.??Datafold??

Datafold是一個數據可靠性平臺，專注于對數據質量的主動管理，幫助企業預防數據災難。它具有在組織的生產力受到影響之前，檢測、評估和調查數據質量問題的獨特能力。也就是說，該平臺能夠通過實時監控，來快速識別問題，并防止數據災難的發生。

來源：http://datafold.com/

Datafold能夠利用AI和ML，提供具有實時洞察力的分析，以便數據工程師能夠從大量數據中，做出高質量的預測。總結起來，Datafold的主要功能包括：

• 針對ETL的一鍵式回歸測試
• 跨所有管道和BI報告的數據流可見性
• SQL查詢轉換、數據發現、以及多數據源集成

此外，Datafold還提供了簡單、直觀且具有強大導航功能的用戶界面(UI)。該平臺允許用戶深入地探索表格和數據資產之間的關系。當然，相對于其靈活的數據質量監控與可視化能力，它能夠支持的數據集成則相對有限。

4.??Query Surge??

Query Surge是一個非常強大且多功能的工具，常被用于自動化數據質量測試和監控，尤其適用于大數據、數據倉庫、BI報告、以及各種企業級的應用。它專為無縫集成而設計，允許用戶在數據流動時，對其進行持續測試和驗證。

Query Surge提供了創建和運行測試的能力，而無需通過智能查詢向導，去編寫SQL語句。這方便了列、行和表級別的比較、以及自動列匹配。同時，用戶也可以創建自定義的測試，去使用可重用的代碼“片段”進行模塊化、設置閾值、檢查數據類型、以及執行其他大量的高級檢查與驗證。此外，Query Surge還具有強大的調度功能，允許用戶在指定的日期和時間立即運行測試。而且，由于支持200多種供應商和技術棧，因此它可以橫跨各種平臺，針對：大數據湖、數據倉庫、傳統數據庫、NoSQL文檔存儲、BI報告、flat文件、以及JSON文件等開展測試。

來源：https://www.querysurge.com/

Query Surge的一項主要優勢在于，它能夠與DataOps管道中的數據集成/ETL解決方案、構建/配置解決方案、QA/測試管理解決方案等相集成。該工具還包含了一個數據分析儀表板，便于用戶實時地監控測試的執行進度，深入研究數據，檢查結果，并查看已執行測試的統計數據。同時，它也能夠以“開箱即用”的方式，與??大量服務??、及其他具有API訪問權限的方案相集成。

Query Surge可被用于本地和云端，支持??AES 256位加密??、??LDAP/LDAPS??、TLS、HTTPS/SSL、自動超時、以及其他安全功能。簡而言之，Query Surge是一個非常強大且全面的自動化數據監控和測試解決方案，能夠讓企業和組織快速提高數據質量，并降低交付管道中的數據相關問題與風險。

5.??Right Data??

Right Data公司的RDT是一個功能強大的數據測試和監控平臺。它通過為數據測試、協調和驗證提供易用的界面，幫助企業和組織提高數據的可靠性和信任度。它允許用戶快速識別與數據相關的一致性、質量和完整性等問題。同時，它也提供了一整套分析、設計、構建、執行、自動化協調和驗證場景的有效方法。由于它幾乎不需要任何編程，因此有效地節省了數據工程師的時間和資源。

來源：http://getrightdata.com/RDt-product

RDT的主要特點：

• 分析數據庫的能力：它通過提供一套完整的應用，來分析源數據集和目標數據集。其頂級的Query Builder和Data Profiling功能,可幫助用戶在不同場景中，事先了解和分析數據。
• 支持廣泛的數據源：RDT廣泛地支持諸如：ODBC或??JDBC??、flat文件、云技術、SAP、大數據、BI報告、以及各種其他來源。這使得企業和組織能夠輕松地連接到現有的數據源，并與之協作。
• 數據核對：RDT具有“比較行計數”等功能，可讓用戶去比較源數據集中的行數和目標數據集中的行數，找出行數不匹配的表。也就是說，它提供了“行級別的數據比較”功能，可以比較源與目標之間的數據集，以識別出彼此不匹配的行。
• 數據驗證：RDT通過提供一個用戶友好的界面，來創建驗證場景，使用戶能夠為目標數據集建立一到多個驗證規則，進而識別異常，分析和報告結果。
• 管理和CMS：RDT擁有一個可配置的管理控制臺，并提供了創建和管理用戶、角色、以及將角色映射到特定用戶的能力。當然，管理員也可以創建、管理和測試用于查詢連接的配置文件。同時，該工具也提供了一個Content Management Studio(CMS)，可以將查詢、場景和連接配置文件，從一個Right Data實例導出到另一個實例。此功能對于在同一實例中，從一個文件夾復制到另一個文件夾，以及切換查詢的連接配置文件來說，非常實用。

DataOps的可觀察性和增強式FinOps

1.??Chaos Genius??

Chaos Genius是一個強大的DataOps可觀察性工具。它使用ML和AI來篩選數據，并提供精確的成本預測和增強式指標，可用于監控和分析數據和業務的狀況。構建該工具的主要目的之一是：通過提供功能強大的、一流的DataOps可觀察性工具，協助監控和分析數據，降低支出，改進業務指標，從而為企業創造價值。

來源：http://chaosgenius.io/

下圖展示了，ChaosGenius目前提供的一項名為“Snowflake Observability”的主要服務。

來源：http://chaosgenius.io/

Chaos Genius（Snowflake Observability）的主要特點包括：

• 成本優化和監控：Chaos Genius旨在幫助企業和組織優化和監控Snowflake云數據平臺的成本，其中包括：尋找可以削減成本的地方，以及就如何削減成本提出建議。
• 增強的查詢性能：Chaos Genius可以分析查詢模式，以識別低效的查詢，并給出提高性能的智能建議，從而實現更快、更高效地檢索數據，并提高數據倉庫的整體性能。
• 減少支出：Chaos Genius使企業能夠更好地提高系統效率，并將總支出減少約10%-30%。
• 定價模型：Chaos Genius提供了一種三層定價模型。第一層是完全免費的，而另外兩層是針對希望監控到更多指標的公司而設計的。這使得各種規模和預算的企業都可以使用它。

2.??Unravel??

作為一個DataOps可觀察性平臺，Unravel可為企業和組織提供整體數據棧的全面視圖，并幫助他們優化性能，自動化故障排除，以及管理和監控其整個數據管道的成本。該平臺能夠與諸如：??Azure???、??Amazon EMR???、??GCP???、以及??Cloudera???等不同的云服務提供商、甚至是??本地環境??協作，為企業提供管理其數據管道的靈活性。

來源：http://unraveldata.com/

Unravel利用ML和AI對端到端的數據管道進行建模，使企業能夠詳細地了解數據如何流經其系統。這使得企業與組織能夠識別出瓶頸，優化其資源分配，并提高其數據管道的整體性能。

該平臺的數據模型可以幫助企業探索、關聯和分析整個環境中的數據，深入了解應用程序、服務與資源的使用方式，及其有效性，進而讓企業能夠快速地識別到潛在問題，并采取措施予以解決。不僅如此，Unravel還具有自動化的排查問題功能，可以幫助企業快速地找到問題的原因，為企業節省大量開支，并讓他們的數據管道更加可靠和高效。

小結

隨著各個企業的數據量以前所未有的速度持續增長，它們對于高效的數據管理和可觀察性解決方案的需求，也日趨強烈。顯然，僅靠收集和存儲數據并不能解決根本問題，企業真正需要的是通過數據獲取的洞察力和價值。而這往往只有在數據質量高、最新且易于訪問的情況下才能實現。這也正是DataOps的用武之地。它可以提供一套強大的最佳實踐和工具，來改進協作、集成和自動化，使企業能夠簡化其數據管道，降低成本與工作量。希望您能夠從上述介紹的數據管理和可觀察性工具中，有選擇地進行采用，最大限度地減少與數據相關的費用，進而從數據中獲取最大價值。

參考

[1]. A. Dyck, R. Penners and H. Lichter, "Towards Definitions for Release Engineering and DevOps," 2015 IEEE/ACM 3rd International Workshop on Release Engineering, Florence, Italy, 2015, pp. 3-3, doi: 10.1109/RELENG.2015.10.

[2] Doyle, Kerry. “DataOps vs. MLOps: Streamline your data operations.” TechTarget, 15 February 2022, https://www.techtarget.com/searchitoperations/tip/DataOps-vs-MLOps-Streamline-your-data-operations. Accessed 12 January 2023.

[3] Danise, Amy, and Bruce Rogers. “Fivetran Innovates Data Integration Tools Market.” Forbes, 11 January 2022, https://www.forbes.com/sites/brucerogers/2022/01/11/fivetran-innovates-data-integration-tools-market/. Accessed 13 January 2023.

[4] Basu, Kirit. “What Is StreamSets? Data Engineering for DataOps.” StreamSets, 5 October 2015, https://streamsets.com/blog/what-is-streamsets/. Accessed 13 January 2023.

[5] Chand, Swatee. “What is Talend | Introduction to Talend ETL Tool.” Edureka, 29 November 2021, https://www.edureka.co/blog/what-is-talend-tool/#WhatIsTalend. Accessed 12 January 2023.

[6] “Delivering real-time data products to accelerate digital business [white paper].” K2View, https://www.k2view.com/hubfs/K2View%20Overview%202022.pdf. Accessed 13 January 2023.

[7] “Complete introduction to Alteryx.” GeeksforGeeks, 3 June 2022, https://www.geeksforgeeks.org/complete-introduction-to-alteryx/. Accessed 13 January 2023.

譯者介紹

陳峻 （Julian Chen），51CTO社區編輯，具有十多年的IT項目實施經驗，善于對內外部資源與風險實施管控，專注傳播網絡與信息安全知識與經驗。

原文標題：??22 Best DataOps Tools To Optimize Your Data Management and Observability In 2023??，作者：Pramit Marattha?