Kafka集群搭建

2021-06-10 10:12:37 浏览数 (1)

kafka集群需要jdk和zookeeper环境

可参考:

vmware15安装centos7

Zookeeper集群搭建

下载kafka

代码语言:javascript复制
wget https://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.13-2.8.0.tgz

根据自己的习惯创建一个路径用来存放kafka程序 我选择的是/usr/tools/ 然后执行解压命令

代码语言:javascript复制
tar -zxvf kafka_2.13-2.8.0.tgz

配置kafka

进入到config路径

修改server.properties配置文件

代码语言:javascript复制
vim /usr/tools/kafka_2.13-2.8.0/config/server.properties

修改配置文件中的broker.id分别为1、2、3

并将三台服务器中的以下配置属性都配制成下边的参数

代码语言:javascript复制
#数据的存放路径,也可以使用默认的
log.dirs=/usr/tools/kafka_2.13-2.8.0/kafka-logs
#默认topic分区的数量
num.partitions=3
#zookeeper集群的地址和端口,多个地址和端口之间用逗号相连
zookeeper.connect=192.168.5.128:2181,192.168.5.129:2181,192.168.5.130:2181

启动kafka

代码语言:javascript复制
/usr/tools/kafka_2.13-2.8.0/bin/kafka-server-start.sh /usr/tools/kafka_2.13-2.8.0/config/server.properties

搭建并启动成功

ps:

可以使用nohup命令启动kafka,这样即使关闭窗口也能保证kafka正常运行

代码语言:javascript复制
nohup /usr/tools/kafka_2.13-2.8.0/bin/kafka-server-start.sh /usr/tools/kafka_2.13-2.8.0/config/server.properties &

创建topic

打开任意一个终端,进入到kafka目录的bin目录,并执行以下命令

代码语言:javascript复制
./kafka-topics.sh --zookeeper 192.168.5.128:2181,192.168.5.129:2181,192.168.5.130:2181 --create --partitions 3 --replication-factor 3 --topic test
Created topic test

创建topic成功后可以在三台服务器的kafka-logs文件中看到三个以test为开头的文件夹

这就是创建了一个有三个partition的topic,并且有有三个副本

文/戴先生@2021年5月15日

---end---

0 人点赞