Kafka 4.0 發(fā)布，徹底移除 ZooKeeper！
大家好，我是君哥。
最近 Apache Kafka 4.0 版本發(fā)布，這是 Kafka 的一個(gè)重要里程碑。Kafka 移除 ZooKeeper 早在幾年前就開(kāi)始準(zhǔn)備，4.0 版本是第一個(gè)可以完全不使用 ZooKeeper 的版本。
Kafka 4.0 默認(rèn)允許在 KRaft 模式下，大大簡(jiǎn)化了集群的部署和管理，消除了集成 ZooKeeper 的復(fù)雜性。
在 KRaft 模式下，一些配置、指標(biāo)和功能發(fā)生了不小的變化，今天我們來(lái)看一下都有哪些改變。
刪除了密碼編碼相關(guān)的配置
這些配置在 ZooKeeper 模式下使用，用來(lái)定義和備份密碼，這個(gè)密鑰用于加密加密敏感數(shù)據(jù)（如密碼）。需要指定加密的算法和密鑰生成方法（如 AES、RSA），并控制密鑰長(zhǎng)度和加密強(qiáng)度。相關(guān)參數(shù)如下：
password.encoder.secret
password.encoder.old.secret
password.encoder.keyfactory.algorithm
password.encoder.cipher.algorithm
password.encoder.key.length
password.encoder.iterations在 KRaft 模式下，Kafka 將敏感數(shù)據(jù)存儲(chǔ)在 records，這些敏感數(shù)據(jù)不需要加密。
移除下面配置
Removed control.plane.listener.nameKafka 依賴 ZooKeeper 管理元數(shù)據(jù)，但是一些內(nèi)部操作（比如 Broker Controller 和普通 Broker 之間通信）依然需要 Kafka 內(nèi)部控制面板來(lái)協(xié)調(diào)。
在 KRaft 模式下，Kafka 消除了對(duì) ZooKeeper 的依賴，控制面板功能完全集成到 Kafka 內(nèi)部。處理角色明確分開(kāi)：brokers 處理與數(shù)據(jù)相關(guān)的請(qǐng)求，而 broker controllers 管理跟元數(shù)據(jù)相關(guān)的請(qǐng)求。controllers 使用 Raft 協(xié)議進(jìn)行內(nèi)部通信，操作方式與 ZooKeeper 模型不同。使用以下參數(shù)來(lái)配置控制面板監(jiān)聽(tīng)器：
controller.listener.names
listeners
listener.security.protocol.map刪除優(yōu)雅停服相關(guān)配置
使用外部注冊(cè)中心，多數(shù)情況是需要配置優(yōu)雅停服的。這些配置在 ZooKeeper 模式下用于定義主動(dòng)停服的最大重試次數(shù)和重試回退時(shí)間。它可以降低意外 Controller 變更和數(shù)據(jù)不一致的風(fēng)險(xiǎn)。
controlled.shutdown.max.retries
controlled.shutdown.retry.backoff.ms在 KRaft 模式下，Kafka 使用 Raft 協(xié)議來(lái)管理元數(shù)據(jù)。Broker 關(guān)閉過(guò)程跟基于仲裁模式的 ZooKeeper 模式不同。Raft 協(xié)議的 Controller 切換依賴自動(dòng)領(lǐng)導(dǎo)者切換，元數(shù)據(jù)由 Controller 更新，關(guān)閉過(guò)程更加可靠和高效。
刪除了生成 Broker id 相關(guān)的配置
這些配置在 ZooKeeper 模式下用于自動(dòng)生成 Broker id 并控制 Broker id 生成過(guò)程。
reserved.broker.max.id
broker.id.generation.enablenode id
Kafka在 KRaft 模式下使用 node id 來(lái)標(biāo)識(shí) server。
node.id刪除了 Broker 協(xié)議版本相關(guān)的配置
inter.broker.protocol.version這些配置在 ZooKeeper 模式下用于定義 Broker 之間的通信協(xié)議版本。在 KRaft 模式下，Kafka 使用 metadata.version 來(lái)控制集群的特征級(jí)別，并且可以使用 bin/Kafka-features.sh 腳本進(jìn)行管理。
移除 ZooKeeper 相關(guān)的動(dòng)態(tài)配置
advertised.listeners在 KRaft 模式下，要修改這些配置，就需要重啟 Broker。
刪除了領(lǐng)導(dǎo)者不平衡配置
leader.imbalance.per.broker.percentage這個(gè)配置只在 ZooKeeper 中使用。用于限制 ZooKeeper 中的選舉領(lǐng)導(dǎo)者的頻率。
移除 ZooKeeper 相關(guān)配置
zookeeper.connect
zookeeper.session.timeout.ms
zookeeper.connection.timeout.ms
zookeeper.set.acl
zookeeper.max.in.flight.requests
zookeeper.ssl.client.enable
zookeeper.clientCnxnSocket
zookeeper.ssl.keystore.location
zookeeper.ssl.keystore.password
zookeeper.ssl.keystore.type
zookeeper.ssl.truststore.location
zookeeper.ssl.truststore.password
zookeeper.ssl.truststore.type
zookeeper.ssl.protocol
zookeeper.ssl.enabled.protocols
zookeeper.ssl.cipher.suites
zookeeper.ssl.endpoint.identification.algorithm
zookeeper.ssl.crl.enable
zookeeper.ssl.ocsp.enable刪除了 ZooKeeper 相關(guān)監(jiān)控指標(biāo)
下面參數(shù)監(jiān)控網(wǎng)絡(luò)處理器平均空閑率：
ControlPlaneNetworkProcessorAvgIdlePercent下面指標(biāo)監(jiān)控所有處理器上斷開(kāi)的連接總數(shù)：
ControlPlaneExpiredConnectionsKilledCount在 KRaft 模式下，Kafka 提供了網(wǎng)絡(luò)處理器連接過(guò)期指標(biāo)。指標(biāo)如下：
NetworkProcessorAvgIdlePercent
ExpiredConnectionsKilledCount刪除了 ZooKeeper 獨(dú)有指標(biāo)
kafka.controller:type=ControllerChannelManager,name=QueueSize
kafka.controller:type=ControllerChannelManager,name=RequestRateAndQueueTimeMs
kafka.controller:type=ControllerEventManager,name=EventQueueSize
kafka.controller:type=ControllerEventManager,name=EventQueueTimeMs
kafka.controller:type=ControllerStats,name=AutoLeaderBalanceRateAndTimeMs
kafka.controller:type=ControllerStats,name=ControlledShutdownRateAndTimeMs
kafka.controller:type=ControllerStats,name=ControllerChangeRateAndTimeMs
kafka.controller:type=ControllerStats,name=ControllerShutdownRateAndTimeMs
kafka.controller:type=ControllerStats,name=IdleRateAndTimeMs
kafka.controller:type=ControllerStats,name=IsrChangeRateAndTimeMs
kafka.controller:type=ControllerStats,name=LeaderAndIsrResponseReceivedRateAndTimeMs
kafka.controller:type=ControllerStats,name=LeaderElectionRateAndTimeMs
kafka.controller:type=ControllerStats,name=ListPartitionReassignmentRateAndTimeMs
kafka.controller:type=ControllerStats,name=LogDirChangeRateAndTimeMs
kafka.controller:type=ControllerStats,name=ManualLeaderBalanceRateAndTimeMs
kafka.controller:type=KafkaController,name=MigratingZkBrokerCount
kafka.controller:type=ControllerStats,name=PartitionReassignmentRateAndTimeMs
kafka.controller:type=ControllerStats,name=TopicChangeRateAndTimeMs
kafka.controller:type=ControllerStats,name=TopicDeletionRateAndTimeMs
kafka.controller:type=KafkaController,name=TopicsIneligibleToDeleteCount
kafka.controller:type=ControllerStats,name=TopicUncleanLeaderElectionEnableRateAndTimeMs
kafka.controller:type=ControllerStats,name=UncleanLeaderElectionEnableRateAndTimeMs
kafka.controller:type=ControllerStats,name=UncleanLeaderElectionsPerSec
kafka.controller:type=ControllerStats,name=UpdateFeaturesRateAndTimeMs
kafka.controller:type=ControllerStats,name=UpdateMetadataResponseReceivedRateAndTimeMs
kafka.controller:type=KafkaController,name=ActiveBrokerCount
kafka.controller:type=KafkaController,name=ActiveControllerCount
kafka.controller:type=KafkaController,name=ControllerState
kafka.controller:type=KafkaController,name=FencedBrokerCount
kafka.controller:type=KafkaController,name=GlobalPartitionCount
kafka.controller:type=KafkaController,name=GlobalTopicCount
kafka.controller:type=KafkaController,name=OfflinePartitionsCount
kafka.controller:type=KafkaController,name=PreferredReplicaImbalanceCount
kafka.controller:type=KafkaController,name=ReplicasIneligibleToDeleteCount
kafka.controller:type=KafkaController,name=ReplicasToDeleteCount
kafka.controller:type=KafkaController,name=TopicsToDeleteCount
kafka.controller:type=KafkaController,name=ZkMigrationState
kafka.server:type=DelayedOperationPurgatory,name=PurgatorySize,delayedOperation=ElectLeader
kafka.server:type=DelayedOperationPurgatory,name=PurgatorySize,delayedOperation=topic
kafka.server:type=DelayedOperationPurgatory,name=NumDelayedOperations,delayedOperation=ElectLeader
kafka.server:type=DelayedOperationPurgatory,name=NumDelayedOperations,delayedOperation=topic
kafka.server:type=SessionExpireListener,name=SessionState
kafka.server:type=SessionExpireListener,name=ZooKeeperAuthFailuresPerSec
kafka.server:type=SessionExpireListener,name=ZooKeeperDisconnectsPerSec
kafka.server:type=SessionExpireListener,name=ZooKeeperExpiresPerSec
kafka.server:type=SessionExpireListener,name=ZooKeeperReadOnlyConnectsPerSec
kafka.server:type=SessionExpireListener,name=ZooKeeperSaslAuthenticationsPerSec
kafka.server:type=SessionExpireListener,name=ZooKeeperSyncConnectsPerSec
kafka.server:type=ZooKeeperClientMetrics,name=ZooKeeperRequestLatencyMs最后
移除了這么多配置，部署不用再考慮 ZooKeeper，架構(gòu)上整潔了太多。
