Kafka环境搭建

2021-01-14 15:39:17 浏览数 (1)

内容目录

Kafka简介Zookeeper搭建Zookeeper单机版安装下载Zookeeper解压配置启动测试Zookeeper伪集群安装server1创建新建目录创建文件myid创建文件zoo.cfgserver2创建新建目录创建文件myid创建文件zoo.cfgserver3创建新建目录创建文件myid创建文件zoo.cfg启动查看启动的服务Zookeeper集群安装

Kafka简介

Apache Kafka是分布式发布-订阅消息系统,在 kafka官网上对 kafka 的定义:一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。

Zookeeper搭建

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

Zookeeper单机版安装
下载Zookeeper

https://zookeeper.apache.org/releases.html

解压
代码语言:javascript复制
tar -zxf zookeeper-3.4.11.tar.gz
配置
代码语言:javascript复制
在Zookeeper加压目录下新建一个目录data

cd zookeeper-3.4.11

mkdir data

进入Zookeeper解压目录下的conf目录

cd conf

在conf目录下新建zoo.cfg文件,写入以下内容保存

tickTime=2000

dataDir=../data

dataLogDir=../data

clientPort=2181
启动
代码语言:javascript复制
进入bin目录执行以下

./zkServer.sh start ../conf/zoo.cfg 

查看启动日志

tail -f zookeeper.out
测试
代码语言:javascript复制
进入bin目录执行以下命令

./zkCli.sh -server 127.0.0.1:2181

查看指定节点下的子节点

ls /
Zookeeper伪集群安装

伪集群模式就是在同一主机启动多个zookeeper并组成集群,下边以在本机上创3个zookeeper组集群为例。

在Zookeeper解压目录下新建三个文件夹,每个文件夹作为一个Zookeeper节点

server1创建
新建目录
代码语言:javascript复制
mkdir -p server1/zookeeper/data

mkdir -p server1/zookeeper/logs

mkdir -p server1/zookeeper/conf
创建文件myid
代码语言:javascript复制
cd server1/zookeeper/data

vim myid

输入内容

1

保存并退出
创建文件zoo.cfg
代码语言:javascript复制
进入conf目录

创建文件zoo.cfg

文件内容如下:

tickTime=2000

dataDir=../data

dataLogDir=../logs

clientPort=2181

initLimit=5

syncLimit=2

server.1=127.0.0.1:2000:3333

server.2=127.0.0.1:3000:4444

server.3=127.0.0.1:4000:5555
server2创建
新建目录
代码语言:javascript复制
mkdir -p server2/zookeeper/data

mkdir -p server2/zookeeper/logs

mkdir -p server2/zookeeper/conf
创建文件myid
代码语言:javascript复制
cd server2/zookeeper/data

vim myid

输入内容

2

保存并退出
创建文件zoo.cfg
代码语言:javascript复制
进入conf目录

创建文件zoo.cfg

文件内容如下:

tickTime=2000

dataDir=../data

dataLogDir=../logs

clientPort=2182

initLimit=5

syncLimit=2

server.1=127.0.0.1:2000:3333

server.2=127.0.0.1:3000:4444

server.3=127.0.0.1:4000:5555
server3创建
新建目录

mkdir -p server3/zookeeper/data

mkdir -p server3/zookeeper/logs

mkdir -p server3/zookeeper/conf

创建文件myid
代码语言:javascript复制
cd server3/zookeeper/data

vim myid

输入内容

3

保存并退出
创建文件zoo.cfg
代码语言:javascript复制
进入conf目录

创建文件zoo.cfg

文件内容如下:

tickTime=2000

dataDir=../data

dataLogDir=../logs

clientPort=2183

initLimit=5

syncLimit=2

server.1=127.0.0.1:2000:3333

server.2=127.0.0.1:3000:4444

server.3=127.0.0.1:4000:5555
启动
代码语言:javascript复制
./zkServer.sh start ../server1/zookeeper/conf/zoo.cfg

./zkServer.sh start ../server2/zookeeper/conf/zoo.cfg

./zkServer.sh start ../server3/zookeeper/conf/zoo.cfg
查看启动的服务
代码语言:javascript复制
ps -ef | grep zookeeper
Zookeeper集群安装

集群模式就是在不同主机上安装zookeeper然后组成集群的模式;下边以在192.168.220.128/129/130三台主机为例。

修改相应的三台服务器上对应的Zookeeper配置即可

代码语言:javascript复制
tickTime=2000

dataDir=../data

dataLogDir=../logs

clientPort=2183

initLimit=5

syncLimit=2

server.1=192.168.220.128:2000:3333

server.2=192.168.220.129:3000:4444

server.3=192.168.220.130:4000:5555

0 人点赞