Kafka如何保证高可用

Kafka

kafka是一个多分区、多副本且基于zookeeper协调的分布式消息系统。也是一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。

副本机制

在集群中，每个分区都可以有多个副本，这些副本中包含了一个Leader和多个Follower，只有Leader才能处理生产者和消费者的请求，而Follower只是Leader的备份，用于提供数据的冗余备份和容错能力。如果Leader发生故障，Kafka集群会自动将Follower提升为新的Leader。

ISR（In-Sync Replicas）机制

• 在Kafka中，每个主题分区可以有多个副本，ISR是与主副本保持同步的副本集合，只有ISR内的副本才有资格参与Leader的选举。
• 当消息被写入到Kafka的分区时，它首先会被写入Leader，然后将消息复制给ISR中的所有副本。只有当ISR中的所有副本都成功接收并确认消息之后，主副本才会认为消息已成功提交。
• Follower需在replica.lag.time.max.ms时间内与Leader保持同步，否则会被移出ISR

Leader选举与故障恢复

• 当Leader宕机时，Controller会从ISR中选举新Leader，选举通过Zookeeper协调完成
• 原Leader恢复后作为Follower重新同步数据并加入ISR