強(qiáng)大的數(shù)據(jù)集成平臺(tái)的特點(diǎn)

數(shù)據(jù)集成平臺(tái)支持多個(gè)數(shù)據(jù)管道的開(kāi)發(fā)、測(cè)試、運(yùn)行和更新。企業(yè)選擇它們的原因是他們認(rèn)識(shí)到數(shù)據(jù)集成是一個(gè)具有特定開(kāi)發(fā)技能、測(cè)試要求和運(yùn)營(yíng)服務(wù)級(jí)別期望的平臺(tái)和能力。當(dāng)架構(gòu)師、IT 領(lǐng)導(dǎo)者、CIO 和首席數(shù)據(jù)官談?wù)摂U(kuò)展數(shù)據(jù)集成能力時(shí)，才認(rèn)識(shí)到軟件開(kāi)發(fā)人員并不能通過(guò)自定義代碼輕松實(shí)現(xiàn)他們尋求的功能。

你或許能在數(shù)據(jù)集成平臺(tái)中找到以下功能：

• 專(zhuān)門(mén)用于開(kāi)發(fā)和增強(qiáng)集成的工具。通常低代碼可視化工具支持拖放處理元素、配置元素并將它們連接到數(shù)據(jù)管道中。
• 開(kāi)箱即用的連接器。它可與常見(jiàn)的企業(yè)系統(tǒng)、SaaS平臺(tái)、數(shù)據(jù)庫(kù)、數(shù)據(jù)湖、大數(shù)據(jù)平臺(tái)、API和云數(shù)據(jù)服務(wù)快速集成。例如，假設(shè)你想要連接 Salesforce 數(shù)據(jù)，捕獲帳戶(hù)和聯(lián)系人，并將數(shù)據(jù)推送到 AWS Relational Database Service，集成平臺(tái)可能已經(jīng)預(yù)先構(gòu)建了連接器，并準(zhǔn)備好在數(shù)據(jù)管道中使用。
• 處理相關(guān)數(shù)據(jù)結(jié)構(gòu)和文件類(lèi)型以外的多種數(shù)據(jù)結(jié)構(gòu)和格式的能力。數(shù)據(jù)集成平臺(tái)通常支持 JSON、XML、Parquet、Avro、ORC，或許也能支持特定行業(yè)的格式，例如金融服務(wù)中的 NACHA、醫(yī)療保健中的 HIPAA EDI 和保險(xiǎn)中的 ACORD XML。
• 高數(shù)據(jù)質(zhì)量和主數(shù)據(jù)管理能力可能是數(shù)據(jù)集成平臺(tái)的特性，也可能是開(kāi)發(fā)人員可以從數(shù)據(jù)管道接口得到的附加產(chǎn)品。
• 一些數(shù)據(jù)集成平臺(tái)以數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)能力為目標(biāo)，包括分析元素處理和與機(jī)器學(xué)習(xí)模型的接口。一些平臺(tái)還提供數(shù)據(jù)準(zhǔn)備工具，以便數(shù)據(jù)科學(xué)家和分析師可以構(gòu)建原型并開(kāi)發(fā)集成。
• Devops 功能，例如支持版本控制、數(shù)據(jù)管道部署自動(dòng)化、拆除和關(guān)閉測(cè)試環(huán)境、在暫存環(huán)境中處理數(shù)據(jù)、擴(kuò)大和縮小生產(chǎn)管道基礎(chǔ)設(shè)施以及啟用多線程執(zhí)行。
• 多種托管選項(xiàng)，包括數(shù)據(jù)中心、公共云和SaaS。
• Dataops 能力可以用于維護(hù)測(cè)試數(shù)據(jù)集、捕獲數(shù)據(jù)沿襲、支持管道重用和自動(dòng)化測(cè)試。
• 在運(yùn)行時(shí)，數(shù)據(jù)集成平臺(tái)可利用多種方式觸發(fā)數(shù)據(jù)管道，例如調(diào)度作業(yè)、事件驅(qū)動(dòng)觸發(fā)器或?qū)崟r(shí)流處理模式。
• 可觀察到的生產(chǎn)數(shù)據(jù)管道可以提供性能報(bào)告、數(shù)據(jù)源問(wèn)題警報(bào)，并提供診斷數(shù)據(jù)處理問(wèn)題的工具。
• 多種支持安全性、合規(guī)性和數(shù)據(jù)治理要求的工具，例如加密格式、審計(jì)功能、數(shù)據(jù)屏蔽、訪問(wèn)管理以及與數(shù)據(jù)目錄的集成。
• 數(shù)據(jù)集成管道不是孤立運(yùn)行的。頂級(jí)平臺(tái)可與 IT 服務(wù)管理、敏捷開(kāi)發(fā)和其他 IT 平臺(tái)集成。

如何選擇數(shù)據(jù)集成平臺(tái)

考慮到平臺(tái)類(lèi)型、在每個(gè)領(lǐng)域競(jìng)爭(zhēng)的供應(yīng)商數(shù)量以及選項(xiàng)分類(lèi)時(shí)使用的分析師術(shù)語(yǔ)，對(duì)數(shù)據(jù)集成功能和要求的列表可能令人頭疼。在這種情況下，你如何為當(dāng)前和未來(lái)的數(shù)據(jù)集成需求選擇正確的工具組合呢?

簡(jiǎn)單來(lái)說(shuō)，需要服從一些規(guī)律。首先清點(diǎn)已經(jīng)使用的集成工具，對(duì)用例進(jìn)行編目，并對(duì)數(shù)據(jù)源、格式、轉(zhuǎn)換、目標(biāo)點(diǎn)和觸發(fā)條件的需求進(jìn)行逆向工程。然后確定操作要求，包括服務(wù)層級(jí)的目標(biāo)、安全要求、合規(guī)性要求和數(shù)據(jù)驗(yàn)證要求。最后，考慮添加一些與現(xiàn)有數(shù)據(jù)集成不同的重要業(yè)務(wù)的新用例或剛嶄露頭角的用例。

通過(guò)這樣的盡職調(diào)查，你可能會(huì)找到充分的理由來(lái)解釋為什么自己動(dòng)手的集成解決方案是不合格的，以及在審查數(shù)據(jù)集成平臺(tái)時(shí)需要尋找什么樣的指導(dǎo)。

作者：Isaac Sacolick是StarCIO的總裁，也是亞馬遜暢銷(xiāo)書(shū)《推動(dòng)數(shù)字化：通過(guò)技術(shù)實(shí)現(xiàn)業(yè)務(wù)轉(zhuǎn)型的領(lǐng)導(dǎo)者指南》的作者。Sacolick是公認(rèn)的頂級(jí)社交CIO和數(shù)字化轉(zhuǎn)型影響者。他在InfoWorld.com、CIO.com、他的博客Social、Agile和Transformation以及其他網(wǎng)站上發(fā)表了700多篇文章。

原文網(wǎng)址：https://www.infoworld.com/article/3621992/why-you-need-a-data-integration-platform.html