Zookeepr分布式集群搭建

2022-08-08 16:03:25 浏览数 (1)

zookeeper下载:http://mirror.bit.edu.cn/apache/zookeeper/

不要下载源码的问下 下载bin的文件  源码有时候会找不到类

apache-zookeeper-3.6.0-bin.tar.gz

1.1 集群规划

在linux1,linux2和linux3三个节点上部署Zookeeper，三个节点都已安装jdk。

配置好ssh key免密登录

1.首先配置hosts文件

代码语言：javascript复制
vim /etc/hosts
代码语言：javascript复制
192.168.10.11 linux1
192.168.10.12 linux2
192.168.10.13 linux3

2.生成ssh rsa 

第一台机器

[Hadoop@linux1 conf]$ ssh-keygen -t rsa

[hadoop@linux1 conf]$ ssh-copy-id linux2

[hadoop@linux1 conf]$ ssh-copy-id linux3

第二台机器

[hadoop@linux2 conf]$ ssh-keygen -t rsa

[hadoop@linux2 conf]$ ssh-copy-id linux1

[hadoop@linux2 conf]$ ssh-copy-id linux3

第三台机器

[hadoop@linux3 conf]$ ssh-keygen -t rsa

[hadoop@linux3 conf]$ ssh-copy-id linux1

[hadoop@linux3 conf]$ ssh-copy-id linux2

1.2 解压安装

tar -zxvf apache-zookeeper-3.6.0-bin.tar.gz  -C /opt/module/<br>mv /opt/module/apache-zookeeper-3.6.0-bin /opt/module/apache-zookeeper-3.6.0

在/opt/module/apache-zookeeper-3.6.0/这个目录下创建Data　　

[hadoop@linux1 apache-zookeeper-3.6.0]$ mkdir Data

修改文件名称　　

mv zoo_sample.cfg zoo.cfg

1.3 配置zoo.cfg文件

具体配置，修改dateDir,添加日志存放目录

ataDir=/opt/module/apache-zookeeper-3.6.0/Data

dataLogDir=/opt/module/apache-zookeeper-3.6.0/Data/logs

　在末尾增加

代码语言：javascript复制
server.1=linux1:2888:3888
server.2=linux2:2888:3888
server.3=linux3:2888:3888
1.4 集群配置

（1）在/opt/module/apache-zookeeper-3.6.0/Data目录下创建一个myid的文件

[hadoop@linux1 Data]$ touch myid

（2）编辑myid文件， 在文件中添加与server对应的编号：如 1   

代码语言：javascript复制
[hadoop@linux1 Data]$ vi myid

 wq保存退出

代码语言：javascript复制
[hadoop@linux1 module]$ scp -r  apache-zookeeper-3.6.0/ hadoop@linux2:/opt/module/
[hadoop@linux1 module]$ scp -r  apache-zookeeper-3.6.0/ hadoop@linux3:/opt/module/

分别设置linux1和linux2的myid文件

代码语言：javascript复制
[hadoop@linux1 module]$ ssh linux2
Last login: Tue Mar 24 11:32:24 2020 from linux1
[hadoop@linux2 ~]$ echo 2 > /opt/module/apache-zookeeper-3.6.0/Data/myid 
[hadoop@linux2 ~]$ cat /opt/module/apache-zookeeper-3.6.0/Data/myid 
2
[hadoop@linux2 ~]$ exit
logout
Connection to linux2 closed.
[hadoop@linux1 module]$
代码语言：javascript复制
[hadoop@linux1 module]$ ssh linux3
Last login: Mon Mar 23 14:15:50 2020
[hadoop@linux3 ~]$ echo 3 > /opt/module/apache-zookeeper-3.6.0/Data/myid 
[hadoop@linux3 ~]$ cat /opt/module/apache-zookeeper-3.6.0/Data/myid 
3
[hadoop@linux3 ~]$ exit
logout
Connection to linux3 closed.
[hadoop@linux1 module]$
1.5 启动集群
代码语言：javascript复制
[hadoop@linux1 apache-zookeeper-3.6.0]$ ./bin/zkServer.sh  start
ZooKeeper JMX enabled by default
Using config: /opt/module/apache-zookeeper-3.6.0/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@linux1 apache-zookeeper-3.6.0]$ ssh linux2
Last login: Tue Mar 24 11:33:58 2020 from linux1
[hadoop@linux2 ~]$ /opt/module/apache-zookeeper-3.6.0/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/module/apache-zookeeper-3.6.0/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@linux2 ~]$ exit
logout
Connection to linux2 closed.
[hadoop@linux1 apache-zookeeper-3.6.0]$ ssh linux 2
ssh: Could not resolve hostname linux: Name or service not known
[hadoop@linux1 apache-zookeeper-3.6.0]$ ssh linux3
Last login: Tue Mar 24 11:35:38 2020 from linux1
[hadoop@linux3 ~]$ /opt/module/apache-zookeeper-3.6.0/bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/module/apache-zookeeper-3.6.0/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@linux3 ~]$ exit
logout
Connection to linux3 closed.
[hadoop@linux1 apache-zookeeper-3.6.0]$
1.6 配置环境变量

vi /etc/profile

代码语言：javascript复制
export ZOOKEEPER_HOME=/opt/module/apache-zookeeper-3.6.0
export PATH=$PATH:$ZOOKEEPER_HOME/bin

source /etc/profile

1.7zoo.cfg配置参数解读

Server.A=B:C:D。

A是一个数字，表示这个是第几号服务器；

B是这个服务器的ip地址；

C是这个服务器与集群中的Leader服务器交换信息的端口；

D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。

1）tickTime=2000：通信心跳数

tickTime：通信心跳数，Zookeeper服务器心跳时间，单位毫秒

Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。

它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)

2）initLimit=10：LF初始通信时限

集群中的follower跟随者服务器(F)与leader领导者服务器(L)之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。

投票选举新leader的初始化时间

Follower在启动过程中，会从Leader同步所有最新数据，然后确定自己能够对外服务的起始状态。

Leader允许F在initLimit时间内完成这个工作。

3）syncLimit=5：LF同步通信时限

集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，

Leader认为Follwer死掉，从服务器列表中删除Follwer。

在运行过程中，Leader负责与ZK集群中所有机器进行通信，例如通过一些心跳检测机制，来检测机器的存活状态。

如果L发出心跳包在syncLimit之后，还没有从F那收到响应，那么就认为这个F已经不在线了。

4）dataDir：数据文件目录 数据持久化路径

保存内存数据库快照信息的位置，如果没有其他说明，更新的事务日志也保存到数据库。

 5）clientPort=2181：客户端连接端口

监听客户端连接的端口

二. 客户端命令行操作

1）启动客户端
代码语言：javascript复制
[hadoop@linux1 opt]$ zkCli.sh
ssh apache hadoop 编程算法 zookeeper

0 人点赞