Kafka 中的优化问题

生产者：

消费者：把自动提交改成手动提交

在防止消息丢失的方案中，如果生产者发送完消息后，因为网络抖动，没有收到 ack，但实际上 broker 已经收到了。

此时生产者会进行重试，于是 broker 就会收到多条相同消息，而造成消费者重复消费。

怎么解决：

所谓的幂等性：多次访问的结果是一样的。对于 rest 的请求（get（幂等）、post（非幂等）、put（幂等）、delete（幂等））

解决方案：

Kafka 的顺序消费使用场景不多，因为牺牲掉了性能，但是比如 RocketMQ 在这一块有专门的功能已设计好。

消息的消费者的消费速度远赶不上生产者的生产消息的速度，导致 Kafka 中有大量的数据没有被消费。

随着没有被消费的数据越堆积越多，消费者寻址的性能会越来越差，最后导致整个 Kafka 对外提供的服务的性能很差，从而造成其他服务也访问速度变慢，造成服务雪崩。

在这个消费者中，使用多线程，充分利用机器的性能进行消费消息。
通过业务的架构设计，提升业务层面消费的性能。
创建多个消费组，多个消费者，部署到其他机器上，一起消费，提高消费者的消费速度
创建一个消费者，该消费者在 Kafka 中另建一个主题，配上多个分区，多个分区再配上多个消费者。该消费者将 poll 下来的消息，不进行消费，直接转发到新建的主题上。此时，新的主题的多个分区的多个消费者就开始一起消费了。——不常用

订单创建后，超过30分钟没有支付，则需要取消订单，这种场景可以通过延时队列来实现

Kafka 中创建相应的主题
消费者消费该主题的消息（轮询）
消费者消费消息时判断消息的创建时间和当前时间是否超过30分钟（前提是订单未支付）
- 如果是：去数据库中修改订单状态为已取消
- 如果否：记录当前消息的 offset（计算与当前时差 sleep 时长时差也行吧），并不再继续消费之后的消息。等待1分钟后，再次向 Kafka 拉取该 offset 及之后的消息，继续进行判断，如此反复。

目录