?對于使用Apache Kafka的人來說，混合云和多云基礎架構有很多好處。

云技術對現(xiàn)代企業(yè)來說變得比以往任何時候都更加重要。94%的企業(yè)投資于云基礎設施，因為它提供的好處。

據(jù)估計，使用云的公司中有87%依賴于混合云環(huán)境。但是，一些公司使用其他云解決方案，這也需要討論。

如今，大多數(shù)公司的云生態(tài)系統(tǒng)包括基礎設施、合規(guī)性、安全性和其他方面。這些基礎架構可以位于混合云或多云中。此外，多云系統(tǒng)根據(jù)組織需求從不同供應商處采購云基礎設施。

混合云戰(zhàn)略有很多好處，但也應該討論多云基礎架構的好處。多云基礎架構意味著當您從不同供應商處獲得技術時，這些供應商可以是私有的，也可以是公共的。混合云系統(tǒng)是結合不同云類型的云部署模型，同時使用本地硬件解決方案和公共云。

您可以安全地使用Apache Kafka集群，使用各種云服務（如Amazon的S3等）將數(shù)據(jù)從本地硬件解決方案無縫移動到數(shù)據(jù)湖。但請記住一件事，您必須在云集群中復制主題，或者您必須開發(fā)一個自定義連接器來從云讀取和復制到應用程

不同Apache Kafka架構的五個主要比較　　

1. Kafka和ETL處理

可能將Apache Kafka用于高性能數(shù)據(jù)管道、流式傳輸各種分析數(shù)據(jù)或使用Kafka運行公司關鍵資產(chǎn)，但您是否知道您也可以使用Kafka集群在多個系統(tǒng)之間移動數(shù)據(jù).

這是因為您通常會看到Kafka生產(chǎn)者發(fā)布數(shù)據(jù)或將其推送到Kafka主題，以便應用程序可以使用數(shù)據(jù)。但是Kafka消費者通常是定制的應用程序，它們將數(shù)據(jù)饋送到目標應用程序中。因此，您可以使用您的云提供商的工具，這些工具可以讓您創(chuàng)建將提取和轉換數(shù)據(jù)的作業(yè)，同時還為您提供加載ETL數(shù)據(jù)的優(yōu)勢。

Amazon的AWS Glue就是這樣一種工具，它允許使用來自Apache Kafka的數(shù)據(jù)和Amazon管理的Apache Kafka(MSK)流。它將使您能夠快速轉換數(shù)據(jù)結果并將其加載到AmazonS3數(shù)據(jù)湖或JDBC數(shù)據(jù)存儲中。

2. 架構設計

在大多數(shù)系統(tǒng)案例中，第一步通常是構建一個響應迅速且可管理的ApacheKafka架構，以便用戶可以快速查看這些數(shù)據(jù)。例如-如果您應該處理和記錄具有許多關鍵數(shù)據(jù)集的文件，例如員工保險單表格。然后，您可以使用各種云工具來提取數(shù)據(jù)以進行進一步處理。

您還可以配置AWSGlue等基于云的工具，以連接您的本地云硬件并建立安全連接。三步ETL框架作業(yè)應該可以解決問題。如果您不確定這些步驟，那么它們是：步驟1：創(chuàng)建工具與本地ApacheKafka數(shù)據(jù)存儲源的連接。步驟2：創(chuàng)建數(shù)據(jù)目錄表。第3步：創(chuàng)建ETL作業(yè)并將該數(shù)據(jù)保存到數(shù)據(jù)湖。

3. 連接

使用預定義的Kafka連接，您可以使用AWS膠水等各種云工具在數(shù)據(jù)目錄中創(chuàng)建安全的安全套接字層(SSL)連接。此外，您應該知道這些連接始終需要自簽名SSL證書。

此外，您可以采取多個步驟從信息中獲得更多價值。例如，您可以使用Quick Sight等各種商業(yè)智能工具將數(shù)據(jù)嵌入到內部Kafka儀表板中。然后另一個團隊成員可以使用事件驅動架構來通知管理員并執(zhí)行各種下游操作。盡管在處理特定數(shù)據(jù)類型時都應該這樣做，但這里的可能性是無窮無盡的。

4. 安全組

當您需要像AWS Glue這樣的云工具在其組件之間來回通信時，您需要為所有傳輸控制協(xié)議(TCP)端口指定一個具有自引用入站規(guī)則的安全組。它將使您能夠將數(shù)據(jù)源限制在同一個安全組；從本質上講，它們都可以為所有流量預先配置一個自引用入站規(guī)則。然后，您需要設置ApacheKafka主題，引用這個新創(chuàng)建的連接，并使用模式檢測功能。

5. 數(shù)據(jù)處理

完成Apache Kafka連接并創(chuàng)建作業(yè)后，您可以格式化源數(shù)據(jù)，稍后您將需要這些數(shù)據(jù)。您還可以使用各種轉換工具來處理您的數(shù)據(jù)庫。對于此數(shù)據(jù)處理，請借助您之前創(chuàng)建的ETL腳本，遵循上述三個步驟。

結論

Apache Kafka是一種開源數(shù)據(jù)處理軟件，在不同的應用程序中有多種用途。使用上述指南確定適合您的存儲類型。?