kafka 命令行工具常用命令行操作

文章目录

• • • 1. 数据命令
    • • 1.1 启动kafka服务
      • 1.2 创建topic
      • 1.3 向topic中发送数据
      • 1.4 开启一个消费端
    • 2. check命令
    • • 2.1 查看kafka topic列表
      • 2.2 查看kafka特定topic的详情
      • 2.3 查看consumer group列表
      • 2.4 查看特定consumer group 详情
      • 2.5 查看指定topic上每个partition的offset

1. 数据命令

1.1 启动kafka服务

zookeeper.connect:zookeeper连接设置ip:port

broker.id:启动kafka的broker的id

1.2 创建topic

代码语言：javascript复制

bin/kafka-topics.sh --create --zookeeper HOST:2181 --replication-factor 1 --partitions 1 --topic TOPIC

1.3 向topic中发送数据

代码语言：javascript复制

bin/kafka-console-producer.sh --broker-list HOST:9092 --topic TOPIC

1.4 开启一个消费端

代码语言：javascript复制

bin/kafka-console-consumer.sh --bootstrap-server HOST:9092 --topic TOPIC --from-beginning

2. check命令

2.1 查看kafka topic列表

使用–list参数

代码语言：javascript复制

bin/kafka-topics.sh --zookeeper host:2181 --list

2.2 查看kafka特定topic的详情

使用–topic与–describe参数

代码语言：javascript复制

bin/kafka-topics.sh --zookeeper host:2181 --topic your_topic --describe

2.3 查看consumer group列表

使用–list参数

查看consumer group列表有新、旧两种命令，分别查看新版(信息保存在broker中)consumer列表和老版(信息保存在zookeeper中)consumer列表，因而需要区分指定bootstrap–server和zookeeper参数：

代码语言：javascript复制

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server host:9092 --list


bin/kafka-consumer-groups.sh --zookeeper host:2181 --list

2.4 查看特定consumer group 详情

使用–group与–describe参数 同样根据新/旧版本的consumer，分别指定bootstrap-server与zookeeper参数:

代码语言：javascript复制

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server HOST:9292 --group YOUR_GROUP_ID --describe


bin/kafka-consumer-groups.sh --zookeeper HOST:2181 --group YOUR_GROUP_ID --describe

2.5 查看指定topic上每个partition的offset

是用于查看指定topic上相应分区的消息数，并不是consumer消费的偏移量

代码语言：javascript复制

bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list host:9092 --topic topic

kafka zookeeper bootstrap node.js

0 人点赞