Kafka 中的优化问题

https://www.bilibili.com/video/BV1Xy4y1G7zA?p=28

1.如何防止消息丢失

生产者：

1. 使用同步发送
2. 把 ack 设成1或者 all，并且设置同步的分区数 >= 2

消费者：把自动提交改成手动提交

2.如何防止重复消费

在防止消息丢失的方案中，如果 生产者发送完消息后，因为网络抖动，没有收到 ack，但实际上 broker 已经收到了。

此时生产者会进行重试，于是 broker 就会收到多条相同消息，而造成消费者重复消费。

怎么解决：

• 生产者关闭重试：会造成丢消息（不建议）

• 消费者解决幂等性消费问题：

所谓的幂等性：多次访问的结果是一样的。对于 rest 的请求（get（幂等）、post（非幂等）、put（幂等）、delete（幂等））

解决方案：

• 在数据库中创建联合主键，防止相同的主键创建出多条记录
• 使用分布式锁，保证只有一条记录能够创建成功

3.如何做到消息的顺序消费

https://www.bilibili.com/video/BV1Xy4y1G7zA?p=29

• 生产者：保证消息按顺序消费，且消息不丢失——使用同步的发送，ack 设置成非0的值。
• 消费者：主题只能设置一个分区，消费组中只能有一个消费者

Kafka 的顺序消费使用场景不多，因为牺牲掉了性能，但是比如 RocketMQ 在这一块有专门的功能已设计好。

4.如何解决消息积压问题

https://www.bilibili.com/video/BV1Xy4y1G7zA?p=30

1. 消息积压问题的出现

消息的消费者的消费速度远赶不上生产者的生产消息的速度，导致 Kafka 中有大量的数据没有被消费。

随着没有被消费的数据越堆积越多，消费者寻址的性能会越来越差，最后导致整个 Kafka 对外提供的服务的性能很差，从而造成其他服务也访问速度变慢，造成服务雪崩。