一、环境准备
jdk下载地址链接:jdk 1.8,提取码: dv5h
zookeeper下载地址链接:zookeeper3.4.14 ,提取码: 3dch
kafka下载地址链接:kafka2.12,提取码: 61bc
1.1 Java环境为前提
1.1.1 上传jdk-8u261-linux-x64.rpm到服务器并安装


1.1.2 配置环境变量






至此,jdk安装成功。
1.2 Zookeeper的安装配置
1.2.1 上传zookeeper-3.4.14.tar.gz到服务器,解压到/opt


1.2.2 修改Zookeeper保存数据的目录,dataDir


1.2.3 编辑/etc/profile,使配置生效



配置完以后再生效配置:

1.2.4 启动Zookeeper,确认Zookeeper的状态


至此,zookeeper安装成功。
1.3 Kafka 的安装与配置
1.3.1 上传kafka_2.12-1.0.2.tgz到服务器并解压


1.3.2 配置环境变量并生效

1.3.3 配置/opt/kafka_2.12-1.0.2/config中的server.properties文件




配置kafka存储持久化数据目录


创建上述持久化数据目录

1.4 启动Kafka
进入Kafka安装的根目录,执行如下命令:


启动成功,可以看到控制台输出的最后一行的started状态:此时kafka安装成功。

1.5 重新开一个窗口,查看Zookeeper的节点

1.6 此时Kafka是前台模式启动,要停止,使用Ctrl C
如果要后台启动,使用命令:

查看Kafka的后台进程:


停止后台运行的Kafka:

二、生产与消费
查看zookeeper状态,zookeeper启动成功,再启动kafka。

2.1 kafka-topics.sh 用于管理主题
查看命令的帮助信息


列出现有主题,创建主题,该主题包含一个分区,该分区为Leader分区,它没有Follower分区副本。

查看指定主题的详细信息

创建主题,该主题包含多个分区


2.2 kafka-console-consumer.sh用于消费消息

2.3 kafka-console-producer.sh用于生产消息

2.4 具体操作
开启消费者和生产者,生产并消费消息。

消费者,按照偏移量消费

消费者从头消费,不按照偏移量消费



