【51CTO.com快譯】什么是機器人數據自動化 (Robotic Data Automation 以下簡稱 RDA)

機器人數據自動化 (RDA) 是一種新模式，它有助于自動化數據集成和數據準備活動，這些活動涉及到處理用于分析和人工智能/機器學習應用程序的機器數據。RDA 不僅僅是一個框架，還包含了一套實現數據自動化的技術和產品能力。

RDA 使企業能夠大規模操作機器數據，從而推動人工智能。

RDA 在企業領域具有廣泛的適用性，首先，CloudFabrix 采用 RDA 框架并將其應用于解決 AIOps 問題——以幫助簡化和加速 AIOps 實現，并使其更加開放和可擴展。

RDA使用數據機器人自動執行重復的數據集成、清理、驗證、成形、豐富和轉換活動，這些數據機器人被調用以在“低代碼”數據工作流或管道中連續工作。RDA有助于輕松地將數據移入和移出AIOps系統，從而簡化和加速AIOps實現，否則這些實現將依賴于大量手動數據集成和專業服務活動。

為什么需要 RDA

AIOps需要處理從各種混合 IT 數據源獲得的大量數據，這些數據分布在本地、云和邊緣環境中。這些數據有多種格式和交付模式。此外，此類數據處理的結果還需要與 IT 生態系統中的其他工具（例如：ITSM/閉環自動化/協作工具和 BI/報告工具）進行交換。

所有這些都需要以高效、可重用和可擴展的方式集成、攝取、準備、驗證、清理、轉換、整合、分析和將數據移入或者移出 AIOps 系統。這些基本任務在 AIOps 實施中常常被忽略，并且導致了嚴重的延遲和增加了 AIOps 項目的成本。

挑戰

讓我們了解一下在實施 AIOps 項目時，數據準備和數據集成活動中的一些關鍵挑戰。

• 不同的數據格式（文本/二進制/json/XML/CSV）、數據傳輸模式（流、批處理、批量、通知）、編程接口（API/Webhooks/Queries/CLI）
• 復雜的數據準備活動，包括完整性檢查、清理、轉換和行成數據（聚合/過濾/排序）
• 原始數據通常缺乏應用程序或服務上下文，需要從外部系統引入上下文來進行更新實時數據。
• 實施數據工作流需要專業的編程/數據科學技能
• 源系統或目標系統的更改需要重寫/更新連接器

AIOps 中數據處理的傳統方法

在傳統方法中，AIOps 供應商提供了一組現成的集成，將 AIOps 解決方案連接到數據源，處理數據的方法和結果如下：

• 數據采集、處理和集成的黑盒方法。
• 用例和場景僅限于平臺支持的內容。
• 集成大多是預定義/硬編碼的限制重用。
• 需要專業/編程技能（Javascript、Python 等）的復雜腳本模塊或說明書。
• 難以引入外部集成，用于間歇數據處理（例如：富集）。
• 難以以編程方式訪問數據，以實現補充功能（例如：腳本、報告、儀表板、自動化等的數據訪問）。

這些都是通過增加延遲和成本（手動數據準備/處理活動）來有效處理 AIOps 的障礙。

短時需求：AIOps 的機器人數據自動化

機器人數據自動化 (RDA)是AIOps 2.0 的關鍵技術

RDA 的自動化 DataOps，類似于 RPA 自動化業務流程。RDA是AIOps平臺不可分割的一部分，可提供增強的數據準備和集成功能能力。RDA 既是一個數據自動化框架，也是一個加速和簡化AIOps實現中所有數據處理的工具箱。

重點

• 使用數據機器人實現低代碼數據管道。
• 原生 AI/ML 機器人程序。
• CFXQL — 統一查詢語言。
• 內聯數據映射。
• 數據完整性檢查。
• 數據屏蔽、編輯和加密。
• 數據整合：聚合/過濾/排序。
• 數據提取/指標獲取。
• 合成數據。

好處

• 簡化和加速 AIOps 用例的實現。
• 減少與數據準備和集成相關的時間/工作/成本。
• 適用于 DevOps/ProdOps 人員（不需要數據科學家技能）。

用例和場景

• 日志集群： 從云和本地獲取應用程序日志，運行 ML 模型以集群日志，將結果推送到Kibana/CFX儀表板。
• CMDB 同步：從 CFX 獲取最新的資產清單并將其推送到CMDB。
• 從合作伙伴/子公司 ITSM 到客戶ITSM的標簽電子綁定（例如：BMC 事件到 ServiceNow）。
• 事件 NLP 分類：從 ServiceNow 獲取標簽，OpenAI（GPT-3）進行NLP分類，并在 ServiceNow 中豐富標簽。
• 異常檢測：從Prometheus（或任何監控工具）獲取節點的歷史 CPU 使用率（每小時）。應用回歸在Slack上發送一條消息，并將異常列表作為附件。
• 標簽集群：從ServiceNow獲取最近 24 小時的事件，對標簽應用集群，并將結果推送到新數據集，以便在 CFX 儀表板中進行可視化。
• 變更檢測：獲取AWS EC2 虛擬機的基準清單，并與當前狀態進行比較以突出計劃外的變更。

原文標題：Taming the Data Problem and Accelerating AIOps Implementations With RDA，作者：Tejo Prayaga

【51CTO譯稿，合作站點轉載請注明原文譯者和出處為51CTO.com】