Kafka 中的优化问题
https://www.bilibili.com/video/BV1Xy4y1G7zA?p=28
1.如何防止消息丢失
生产者：
- 使用同步发送
- 把 ack 设成1或者 all，并且设置同步的分区数 >= 2
消费者：把自动提交改成手动提交
2.如何防止重复消费
在防止消息丢失的方案中，如果 生产者发送完消息后，因为网络抖动，没有收到 ack，但实际上 broker 已经收到了。
此时生产者会进行重试，于是 broker 就会收到多条相同消息，而造成消费者重复消费。
怎么解决：
- 生产者关闭重试：会造成丢消息（不建议）
- 消费者解决幂等性消费问题：
所谓的幂等性：多次访问的结果是一样的。对于 rest 的请求（get（幂等）、post（非幂等）、put（幂等）、delete（幂等））
解决方案：
- 在数据库中创建联合主键，防止相同的主键创建出多条记录
- 使用分布式锁，保证只有一条记录能够创建成功
3.如何做到消息的顺序消费
https://www.bilibili.com/video/BV1Xy4y1G7zA?p=29
- 生产者：保证消息按顺序消费，且消息不丢失——使用同步的发送，ack 设置成非0的值。
- 消费者：主题只能设置一个分区，消费组中只能有一个消费者
Kafka 的顺序消费使用场景不多，因为牺牲掉了性能，但是比如 RocketMQ 在这一块有专门的功能已设计好。
4.如何解决消息积压问题
https://www.bilibili.com/video/BV1Xy4y1G7zA?p=30
- 消息积压问题的出现
消息的消费者的消费速度远赶不上生产者的生产消息的速度，导致 Kafka 中有大量的数据没有被消费。
随着没有被消费的数据越堆积越多，消费者寻址的性能会越来越差，最后导致整个 Kafka 对外提供的服务的性能很差，从而造成其他服务也访问速度变慢，造成服务雪崩。