Kafka的基本知识

来自姬鸿昌的知识库
Jihongchang（讨论 | 贡献）2022年8月22日 (一) 09:27的版本
跳到导航 跳到搜索

1. Kafka 的安装

  • 部署一台 ZooKeeper 服务器
  • 安装 JDK
  • 下载 Kafka 的安装包：https://kafka.apache.org/downloads
  • 上传到 Kafka 服务器上：/usr/local/kafka
  • 解压缩压缩包
  • 进入到 config 目录内，修改 server.properties
# broker.id 属性在 Kafka 集群中必须要是唯一
broker.id 

# Kafka 部署的机器 IP 和提供服务的端口号
listeners=PLAINTEXT://192.168.137.200:9092

# Kafka 的消息存储文件
log.dirs=/usr/local/kafka/data/kafka-logs

# Kafka 连接 ZooKeeper 的地址
zookeeper.connect=localhost:2181

详细

  • 进入到 bin 目录内，执行以下命令来启动 Kafka 服务器（带着配置文件）
[root@localhost bin]# ./kafka-server-start.sh -daemon ../config/server.properties

详细

  • 校验 Kafka 是否启动成功：

进入到 ZooKeeper 内查看是否有 Kafka 的节点：/brokers/ids/0

详情


2. Kafka 中的一些基本概念

Kafka 中有这么些复杂的概念

相关术语
名称 解释
Broker 消息中间件处理节点，一个 Kafka 节点就是一个 broker，一个或者多个Broker可以组成一个 Kafka 集群
Topic Kafka 根据 topic 对消息进行归类，发布到 Kafka 集群的每条消息都需要指定一个 topic
producer 消息生产者，向 Broker 发送消息的客户端
Consumer 消息消费者，从 Broker 读取消息的客户端
ConsumerGroup 每个 Consumer 属于一个特定的 ConsumerGroup，一条消息可以被多个不同的 ConsumerGroup 消费，但是一

TConsumerGroup 中只能有一个 Consumer 能够消费该消息

Partition 物理上的概念，一个 topic 可以分为多个 partition ，每个 partition 内部消息是有序的
取自“https://www.jihongchang.top/index.php?title=Kafka的基本知识&oldid=1033”