【云原生进阶之PaaS中间件】第三章Kafka-3-命令操作

2023-11-19 08:25:36 浏览数 (2)

1 命令操作

1.1 主题命令操作

查看操作主题命令参数:

代码语言:javascript复制
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh

参数描述

--bootstrap-server,连接的Kafka Broker主机名称和端口号。

--topic,操作的topic名称。

--create,创建主题。

--delete,删除主题。

--alter,修改主题。

--list,查看所有主题。

--describe,查看主题详细描述。

--partitions,设置分区数。

--replication-factor,设置分区副本。

--config,更新系统默认的配置。

(1)查看服务器中的topic

代码语言:javascript复制
[atguigu@hadoop102 kafka]$ kafka-topics.sh --bootstrap-server hadoop102:9092 --list

(2)创建first topic

代码语言:javascript复制
[atguigu@hadoop102 kafka]$ kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 3 --replication-factor 2 --first topic

选项说明:

--topic 定义topic名

--replication-factor 定义副本数

--partitions 定义分区数

(3) 查看first主题详情

代码语言:javascript复制
[atguigu@hadoop102 kafka]$ kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --first topic

(4)修改分区数(分区数只能增加,不能减少)

代码语言:javascript复制
[atguigu@hadoop102 kafka]$ kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --first topic --partition 5

(5)删除topic

代码语言:javascript复制
[atguigu@hadoop102 kafka]$ kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --first topic

1.2 生产者命令操作

查看操作生产者命令

代码语言:javascript复制
[atguigu@hadoop102 kafka]$ kafka-console-producer.sh

参数描述

--bootstrap-server,连接的Kafka Broker主机名称和端口号。

--topic,操作的topic名称。

发送消息

代码语言:javascript复制
[atguigu@hadoop102 kafka]$ kafka-console-producer.sh --bootstrap-server hadoop102:9092 --topic first

1.3 消费者命令操作

查看操作消费者命令

代码语言:javascript复制
[atguigu@hadoop102 kafka]$ kafka-console-consumer.sh

参数描述

--bootstrap-server,连接的Kafka Broker主机名称和端口号。

--topic,操作的topic名称。

--from-beginning,从头开始消费。

--group,指定消费者组名称。

        消费主题first中的信息(从末尾开始)

代码语言:javascript复制
[atguigu@hadoop102 kafka]$ kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

        把主题中所有的数据都读取出来(包括历史数据)

代码语言:javascript复制
[atguigu@hadoop102 kafka]$ kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from beginning --topic first

        命令行中使用的消费者,如果不写消费者组,系统会默认分配一个随机的消费者组。所以每次启动都无法消费之前的数据。添加--from-beginning 可以从头消费。

        如果是同一个组的消费者 ,能实现断点续传的功能。添加--from-beginning 也还是断点续传的。

        如果生产消费到一个不存在的主题,系统会自动帮你创建这个主题,分区和副本的个数都为1个。

参考链接

【精选】Kafka基本原理详解_昙花逐月的博客-CSDN博客

这是最详细的Kafka应用教程了 - 掘金

Kafka : Kafka入门教程和JAVA客户端使用-CSDN博客

简易教程 | Kafka从搭建到使用 - 知乎

【精选】kafka简介_唏噗的博客-CSDN博客

Kafka 架构及基本原理简析

Kafka 架构及基本原理简析

kafka详解(一)--kafka是什么及怎么用

再过半小时,你就能明白kafka的工作原理了

Kafka 设计与原理详解

Kafka【入门】就这一篇! - 知乎

kafka简介_kafka_唏噗

kafka详解

0 人点赞