查看“Kafka 中的优化问题”的源代码

https://www.bilibili.com/video/BV1Xy4y1G7zA?p=28

===1.如何防止消息丢失===
生产者：

#使用同步发送
#把 ack 设成1或者 all，并且设置同步的分区数 >= 2
消费者：把自动提交改成手动提交


===2.如何防止重复消费===
在防止消息丢失的方案中，如果 生产者发送完消息后，因为网络抖动，没有收到 ack，但实际上 broker 已经收到了。

此时生产者会进行重试，于是 broker 就会收到多条相同消息，而造成消费者重复消费。

怎么解决：

*生产者关闭重试：会造成丢消息（不建议）

*消费者解决幂等性消费问题：

所谓的幂等性：多次访问的结果是一样的。对于 rest 的请求（get（幂等）、post（非幂等）、put（幂等）、delete（幂等））

解决方案：
*在数据库中创建联合主键，防止相同的主键创建出多条记录
* 使用分布式锁，保证只有一条记录能够创建成功

[[文件:如何防止重复消费.png|无|缩略图|1300x1300像素]]


=== 3.如何做到消息的顺序消费 ===
https://www.bilibili.com/video/BV1Xy4y1G7zA?p=29

* 生产者：保证消息按顺序消费，且消息不丢失——使用同步的发送，ack 设置成非0的值。
* 消费者：主题只能设置一个分区，消费组中只能有一个消费者

Kafka 的顺序消费使用场景不多，因为牺牲掉了性能，但是比如 RocketMQ 在这一块有专门的功能已设计好。


=== 4.如何解决消息积压问题 ===
https://www.bilibili.com/video/BV1Xy4y1G7zA?p=30
[[文件:如何解决消息积压问题.png|无|缩略图|1100x1100像素]]

# 消息积压问题的出现

消息的消费者的消费速度远赶不上生产者的生产消息的速度，导致 Kafka 中有大量的数据没有被消费。

随着没有被消费的数据越堆积越多，消费者寻址的性能会越来越差，最后导致整个 Kafka 对外提供的服务的性能很差，从而造成其他服务也访问速度变慢，造成服务雪崩。