1 命令操作
1.1 主题命令操作
查看操作主题命令参数:
代码语言:javascript复制[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh
参数描述
--bootstrap-server,连接的Kafka Broker主机名称和端口号。
--topic,操作的topic名称。
--create,创建主题。
--delete,删除主题。
--alter,修改主题。
--list,查看所有主题。
--describe,查看主题详细描述。
--partitions,设置分区数。
--replication-factor,设置分区副本。
--config,更新系统默认的配置。
(1)查看服务器中的topic
代码语言:javascript复制[atguigu@hadoop102 kafka]$ kafka-topics.sh --bootstrap-server hadoop102:9092 --list
(2)创建first topic
代码语言:javascript复制[atguigu@hadoop102 kafka]$ kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 3 --replication-factor 2 --first topic
选项说明:
--topic 定义topic名
--replication-factor 定义副本数
--partitions 定义分区数
(3) 查看first主题详情
代码语言:javascript复制[atguigu@hadoop102 kafka]$ kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --first topic
(4)修改分区数(分区数只能增加,不能减少)
代码语言:javascript复制[atguigu@hadoop102 kafka]$ kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --first topic --partition 5
(5)删除topic
代码语言:javascript复制[atguigu@hadoop102 kafka]$ kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --first topic
1.2 生产者命令操作
查看操作生产者命令
代码语言:javascript复制[atguigu@hadoop102 kafka]$ kafka-console-producer.sh
参数描述
--bootstrap-server,连接的Kafka Broker主机名称和端口号。
--topic,操作的topic名称。
发送消息
代码语言:javascript复制[atguigu@hadoop102 kafka]$ kafka-console-producer.sh --bootstrap-server hadoop102:9092 --topic first
1.3 消费者命令操作
查看操作消费者命令
代码语言:javascript复制[atguigu@hadoop102 kafka]$ kafka-console-consumer.sh
参数描述
--bootstrap-server,连接的Kafka Broker主机名称和端口号。
--topic,操作的topic名称。
--from-beginning,从头开始消费。
--group,指定消费者组名称。
消费主题first中的信息(从末尾开始)
代码语言:javascript复制[atguigu@hadoop102 kafka]$ kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first
把主题中所有的数据都读取出来(包括历史数据)
代码语言:javascript复制[atguigu@hadoop102 kafka]$ kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from beginning --topic first
命令行中使用的消费者,如果不写消费者组,系统会默认分配一个随机的消费者组。所以每次启动都无法消费之前的数据。添加--from-beginning 可以从头消费。
如果是同一个组的消费者 ,能实现断点续传的功能。添加--from-beginning 也还是断点续传的。
如果生产消费到一个不存在的主题,系统会自动帮你创建这个主题,分区和副本的个数都为1个。
参考链接
【精选】Kafka基本原理详解_昙花逐月的博客-CSDN博客
这是最详细的Kafka应用教程了 - 掘金
Kafka : Kafka入门教程和JAVA客户端使用-CSDN博客
简易教程 | Kafka从搭建到使用 - 知乎
【精选】kafka简介_唏噗的博客-CSDN博客
Kafka 架构及基本原理简析
Kafka 架构及基本原理简析
kafka详解(一)--kafka是什么及怎么用
再过半小时,你就能明白kafka的工作原理了
Kafka 设计与原理详解
Kafka【入门】就这一篇! - 知乎
kafka简介_kafka_唏噗
kafka详解