一、环境准备
jdk下载地址链接:jdk 1.8,提取码: dv5h
zookeeper下载地址链接:zookeeper3.4.14 ,提取码: 3dch
kafka下载地址链接:kafka2.12,提取码: 61bc
1.1 Java环境为前提
1.1.1 上传jdk-8u261-linux-x64.rpm到服务器并安装
1.1.2 配置环境变量
至此,jdk安装成功。
1.2 Zookeeper的安装配置
1.2.1 上传zookeeper-3.4.14.tar.gz到服务器,解压到/opt
1.2.2 修改Zookeeper保存数据的目录,dataDir
1.2.3 编辑/etc/profile,使配置生效
配置完以后再生效配置:
1.2.4 启动Zookeeper,确认Zookeeper的状态
至此,zookeeper安装成功。
1.3 Kafka 的安装与配置
1.3.1 上传kafka_2.12-1.0.2.tgz到服务器并解压
1.3.2 配置环境变量并生效
1.3.3 配置/opt/kafka_2.12-1.0.2/config中的server.properties文件
配置kafka存储持久化数据目录
创建上述持久化数据目录
1.4 启动Kafka
进入Kafka安装的根目录,执行如下命令:
启动成功,可以看到控制台输出的最后一行的started状态:此时kafka安装成功。
1.5 重新开一个窗口,查看Zookeeper的节点
1.6 此时Kafka是前台模式启动,要停止,使用Ctrl C
如果要后台启动,使用命令:
查看Kafka的后台进程:
停止后台运行的Kafka:
二、生产与消费
查看zookeeper状态,zookeeper启动成功,再启动kafka。
2.1 kafka-topics.sh 用于管理主题
查看命令的帮助信息
列出现有主题,创建主题,该主题包含一个分区,该分区为Leader分区,它没有Follower分区副本。
查看指定主题的详细信息
创建主题,该主题包含多个分区
2.2 kafka-console-consumer.sh用于消费消息
2.3 kafka-console-producer.sh用于生产消息
2.4 具体操作
开启消费者和生产者,生产并消费消息。
消费者,按照偏移量消费
消费者从头消费,不按照偏移量消费