kafka集群需要jdk和zookeeper环境
可参考:
vmware15安装centos7
Zookeeper集群搭建
下载kafka
代码语言:javascript复制wget https://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz
根据自己的习惯创建一个路径用来存放kafka程序 我选择的是/usr/tools/ 然后执行解压命令
代码语言:javascript复制tar -zxvf kafka_2.13-2.8.0.tgz
配置kafka
进入到config路径
修改server.properties配置文件
代码语言:javascript复制vim /usr/tools/kafka_2.13-2.8.0/config/server.properties
修改配置文件中的broker.id分别为1、2、3
并将三台服务器中的以下配置属性都配制成下边的参数
代码语言:javascript复制#数据的存放路径,也可以使用默认的
log.dirs=/usr/tools/kafka_2.13-2.8.0/kafka-logs
#默认topic分区的数量
num.partitions=3
#zookeeper集群的地址和端口,多个地址和端口之间用逗号相连
zookeeper.connect=192.168.5.128:2181,192.168.5.129:2181,192.168.5.130:2181
启动kafka
代码语言:javascript复制/usr/tools/kafka_2.13-2.8.0/bin/kafka-server-start.sh /usr/tools/kafka_2.13-2.8.0/config/server.properties
搭建并启动成功
ps:
可以使用nohup命令启动kafka,这样即使关闭窗口也能保证kafka正常运行
代码语言:javascript复制nohup /usr/tools/kafka_2.13-2.8.0/bin/kafka-server-start.sh /usr/tools/kafka_2.13-2.8.0/config/server.properties &
创建topic
打开任意一个终端,进入到kafka目录的bin目录,并执行以下命令
代码语言:javascript复制./kafka-topics.sh --zookeeper 192.168.5.128:2181,192.168.5.129:2181,192.168.5.130:2181 --create --partitions 3 --replication-factor 3 --topic test
Created topic test
创建topic成功后可以在三台服务器的kafka-logs文件中看到三个以test为开头的文件夹
这就是创建了一个有三个partition的topic,并且有有三个副本
文/戴先生@2021年5月15日
---end---