Part 01

功能介紹 

• 開發(fā)者控制臺功能

1.服務實例管理：Kafka集群實例配置信息及白名單管理。

2.數據統(tǒng)計：統(tǒng)計單Topic、Group每日消息生產量及消費量。

3.Topic管理：Topic基礎信息及訂閱關系管理。

4.Consumer Group管理：Group基礎信息及消費狀態(tài)管理。

• 后臺管理系統(tǒng)

1.服務集群管理：提供Kafka集群實例添加及配置管功能。

2.授權用戶管理：為開發(fā)者配置Kafka集群實例及資源權限。

城市物聯網平臺實現的Kafka推送是在開源Apache Kafka 2.8.x版本上，增加了以用戶為維度的鑒權、授權機制以及資源管理功能，同時實現了與規(guī)則引擎的數據對接，通過配置規(guī)則引擎，將設備基礎數據，感知數據等應用數據推送給上層SaaS應用，可以直接通過Kafka官網的客戶端消費數據。

Part 02

Kafka推送優(yōu)勢 

• 性能對比

Kafka具有低時延、高可用性的特性，吞吐量高，單機寫入TPS約在百萬條/秒，與物聯網設備數據量大的場景比較契合。

• 運維實施

社區(qū)活躍，使用場景廣泛，部署實踐經驗較豐富、開源學習成本低，對于研發(fā)、運維人員門檻低，能夠輕松完成應用數據對接開發(fā)。

• 項目支撐

可同時支持多個應用子系統(tǒng)的數據集成需求，減少內部消息轉發(fā)業(yè)務研發(fā),同時可緩存部分數據；Kafka消息中間件，通用性強、適用范圍更廣，數據對接流程簡單。

Part 03

Kafka推送關鍵技術分析  

城市平臺Kafka推送基于官方的客戶端實現，通過官網客戶端提供的API進行鑒權，授權及資源隔離等操作。

• Kafka鑒權

基于SASL/SCRAM連接鑒權，可以通過命令或者API創(chuàng)建、刪除用戶。

• Kafka授權

可以基于Topic、分組對用戶授權，保證用戶的數據隔離。

• 資源隔離

可以基于用戶消費、生產速率配額，限制帶寬。

• 關鍵API列舉