“Kafka 集群中的 controller、rebalance、HW”的版本间的差异

来自姬鸿昌的知识库
跳到导航 跳到搜索
第13行: 第13行:
  
  
=== 2.rebalance 机制 ===
+
=== 2. rebalance 机制===
 
https://www.bilibili.com/video/BV1Xy4y1G7zA?p=26
 
https://www.bilibili.com/video/BV1Xy4y1G7zA?p=26
 +
 +
*前提:消费组中的消费者没有指明分区来消费
 +
 +
*触发的条件:当消费组中的消费者和分区的关系发生变化的时候
 +
 +
*分区分配的策略:在 rebalance 之前,分区怎么分配会有这么三种策略
 +
**range:根据公式计算得到每个消费者消费哪几个分区

2022年8月28日 (日) 08:40的版本

https://www.bilibili.com/video/BV1Xy4y1G7zA?p=25

1.controller

  • 集群中谁来充当 controller

每个 broker 启动时会向 ZK 创建一个临时序号节点,获得的序号最小的那个 broker 将会作为集群中的 controller,负责这么几件事:

  • 当集群中有一个副本的 leader 挂掉,需要在集群中选举出一个新的 leader,选举的规则是从 isr 集合中最左边获得。
  • 当集群中有 broker 新增或减少,controller 会同步信息给其他 broker
  • 当集群中有分区新增或减少,controller 会同步信息给其他 broker


2. rebalance 机制

https://www.bilibili.com/video/BV1Xy4y1G7zA?p=26

  • 前提:消费组中的消费者没有指明分区来消费
  • 触发的条件:当消费组中的消费者和分区的关系发生变化的时候
  • 分区分配的策略:在 rebalance 之前,分区怎么分配会有这么三种策略
    • range:根据公式计算得到每个消费者消费哪几个分区