Kafka 集群中的 controller、rebalance、HW

https://www.bilibili.com/video/BV1Xy4y1G7zA?p=25

1.controller

• 集群中谁来充当 controller

每个 broker 启动时会向 ZK 创建一个临时序号节点，获得的序号最小的那个 broker 将会作为集群中的 controller，负责这么几件事：

• 当集群中有一个副本的 leader 挂掉，需要在集群中选举出一个新的 leader，选举的规则是从 isr 集合中最左边获得。

• 当集群中有 broker 新增或减少，controller 会同步信息给其他 broker
• 当集群中有分区新增或减少，controller 会同步信息给其他 broker

2. rebalance 机制

https://www.bilibili.com/video/BV1Xy4y1G7zA?p=26

• 前提：消费组中的消费者没有指明分区来消费

• 触发的条件：当消费组中的消费者和分区的关系发生变化的时候

• 分区分配的策略：在 rebalance 之前，分区怎么分配会有这么三种策略
  • range：根据公式计算得到每个消费者消费哪几个分区：前面的消费者是分区总数/消费者数量+1，之后的消费者是分区总数/消费者数量
  • 轮询：大家轮着来
  • sticky：粘合策略，如果需要 rebalance，会在之前已分配的基础上调整，不会改变之前的分配情况，如果这个策略没有开，那么就要进行全部的重新分配。建议开启。

3. HW 和 LEO

https://www.bilibili.com/video/BV1Xy4y1G7zA?p=27