聊聊 Kafka: 在 Linux 环境上搭建 Kafka

2021-09-08 12:32:27 浏览数 (1)

一、环境准备

jdk下载地址链接:jdk 1.8,提取码: dv5h

zookeeper下载地址链接:zookeeper3.4.14 ,提取码: 3dch

kafka下载地址链接:kafka2.12,提取码: 61bc

1.1 Java环境为前提

1.1.1 上传jdk-8u261-linux-x64.rpm到服务器并安装

1.1.2 配置环境变量

至此,jdk安装成功。

1.2 Zookeeper的安装配置

1.2.1 上传zookeeper-3.4.14.tar.gz到服务器,解压到/opt

1.2.2 修改Zookeeper保存数据的目录,dataDir

1.2.3 编辑/etc/profile,使配置生效

配置完以后再生效配置:

1.2.4 启动Zookeeper,确认Zookeeper的状态

至此,zookeeper安装成功。

1.3 Kafka 的安装与配置

1.3.1 上传kafka_2.12-1.0.2.tgz到服务器并解压

1.3.2 配置环境变量并生效

1.3.3 配置/opt/kafka_2.12-1.0.2/config中的server.properties文件

配置kafka存储持久化数据目录

创建上述持久化数据目录

1.4 启动Kafka

进入Kafka安装的根目录,执行如下命令:

启动成功,可以看到控制台输出的最后一行的started状态:此时kafka安装成功。

1.5 重新开一个窗口,查看Zookeeper的节点

1.6 此时Kafka是前台模式启动,要停止,使用Ctrl C

如果要后台启动,使用命令:

查看Kafka的后台进程:

停止后台运行的Kafka:

二、生产与消费

查看zookeeper状态,zookeeper启动成功,再启动kafka。

2.1 kafka-topics.sh 用于管理主题

查看命令的帮助信息

列出现有主题,创建主题,该主题包含一个分区,该分区为Leader分区,它没有Follower分区副本。

查看指定主题的详细信息

创建主题,该主题包含多个分区

2.2 kafka-console-consumer.sh用于消费消息

2.3 kafka-console-producer.sh用于生产消息

2.4 具体操作

开启消费者和生产者,生产并消费消息。

消费者,按照偏移量消费

消费者从头消费,不按照偏移量消费

0 人点赞