Kafka 中主题和分区的概念

来自姬鸿昌的知识库
Jihongchang讨论 | 贡献2022年8月22日 (一) 11:29的版本
跳到导航 跳到搜索

1.主题 topic

主题 topic 在 Kafka 中是一个逻辑的概念,Kafka 通过 topic 将消息进行分类。不同的 topic 会被订阅该 topic 的消费者消费。

但是有一个问题,如果说这个 topic 中的消息非常非常多,多到需要几T来存,因为消息是会被保存到 log 日志文件中的。为了解决这个文件过大的问题,Kafka 提出了 Partition 分区的概念。


2.分区 Partition

通过 partition 将一个 topic 中的消息分区来存储。这样的好处有多个:

  • 分区存储,可以解决统一存储文件过大的问题
  • 提高了读写的吞吐量:读和写可以同时在多个分区中进行
分区.png