Kafka 中的优化问题

https://www.bilibili.com/video/BV1Xy4y1G7zA?p=28

1.如何防止消息丢失

生产者：

1. 使用同步发送
2. 把 ack 设成1或者 all，并且设置同步的分区数 >= 2

消费者：把自动提交改成手动提交

2.如何防止重复消费

在防止消息丢失的方案中，如果 生产者发送完消息后，因为网络抖动，没有收到 ack，但实际上 broker 已经收到了。

此时生产者会进行重试，于是 broker 就会收到多条相同消息，而造成消费者重复消费。

怎么解决：

• 生产者关闭重试：会造成丢消息（不建议）

• 消费者解决幂等性消费问题：

所谓的幂等性：多次访问的结果是一样的。对于 rest 的请求（get（幂等）、post（非幂等）、put（幂等）、delete（幂等））

解决方案：

• 在数据库中创建联合主键，防止相同的主键创建出多条记录
• 使用分布式锁，保证只有一条记录能够创建成功