一、Zookeeper介绍
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，是一个针对大型分布式系统的可靠协调系统；
提供的功能包括：配置维护、名字服务、分布式同步、组服务等；
目标就是封装好复杂易出错的关键职务，将简单易用的接口和性能高效、功能稳定的系统提供给用户；
Zookeeper已经成为Hadoop生态系统中的基础组件。
工作原理：
ZooKeeper是以Fast Paxos算法为基础的，Paxos 算法存在活锁的问题，即当有多个proposer交错提交时，有可能互相排斥导致没有一个proposer能提交成功，而Fast Paxos作了一些优化，通过选举产生一个leader (领导者)，只有leader才能提交proposer，具体算法可见Fast Paxos。因此，要想弄懂ZooKeeper首先得对Fast Paxos有所了解
ZooKeeper的基本运转流程：
1、选举Leader。
2、同步数据。
3、选举Leader过程中算法有很多，但要达到的选举标准是一致的。
4、Leader要具有最高的执行ID，类似root权限。
5、集群中大多数的机器得到响应并接受选出的Leader。
二、Zookeeper特点
最终一致性：为客户端展示同一视图，这是Zookeeper最重要的性能；
可靠性：如果消息被一台服务器接受，那么它将被所有的服务器接受；
原子性：更新只能成功或失败，没有中间状态；
三、Zookeeper应用场景
1、统一命名服务
（1）分布式环境下，经常需要对应用/服务进行统一命名，便于识别不同的服务
类似于域名与ip之间对应关系，域名容易记住；
通过名称来获取资源或服务的地址，提供者信息。
（2）按照层次结构组织服务/应用名称
可将服务名称以及地址信息写在Zookeeper上，客户端通过Zookeeper获取可用服务列表。
2、配置管理
（1）分布式环境下，配置文件管理和同步是一个常见问题
一个集群中，所有节点的配置信息是一致的，比如Hadoop；
对配置文件修改后，希望能够快速同步到各个节点上。
（2）配置管理可交由Zookeeper实现
可将配置信息写入Zookeeper的一个znode上；
各个节点监听这个znode
一旦znode中的数据被修改，Zookeeper将会通知各个节点。
3、集群管理
（1）分布式环境下，实时掌握每个节点的状态是必要的
可根据节点实时状态做出一些调整。
（2）可交由Zookeeper实现
可将节点信息写入Zookeeper的一个znode上；
监听这个znode可获得它的实时状态变化。
（3）典型应用
HBase中Master状态的监控与选举。
4、分布式通知/协调
原理其实就是发布/订阅。
（1）分布式环境下经常存在一个服务需要知道它所管理的子服务的状态
NameNode需要知道各DataNode的状态
（2）心跳检测机制可通过Zookeeper实现
（3）信息推送可由Zookeeper实现(发布/订阅模式)
5、分布式锁
（1）Zookeeper是强一致性的
多个客户端同时在Zookeeper上创建相同znode，只有一个创建成功。
（2）实现锁的独占性
多个客户端同时在Zookeeper上创建相同znode，创建成功的那个客户端得到锁，其他客户端等待。
（3）控制锁的时序
各个客户端在某个znode下创建临时znode(类型为CreateMode.EPHEMERAL_SEQUENTIAL)，这样，该znode可掌握全局访问时序。
四、用到了Zookeeper的一些系统
HDFS
YARN
Storm
HBase
Flume
Dubbo
metaq
五、Zookeeper集群安装部署
下面开始介绍Zookeeper的安装部署。安装部署分三种模式：单机模式、伪分布式模式和分布式模式。单机模式和伪分布式比较简单，多用于本地测试调试，下面介绍分布式模式安装部署。
注意：3台机器都需要安装zk。对于Zookeeper集群的话，官方推荐的最小节点数为3个。
1）环境信息
操作系统 IP地址 安装软件
Centos 7.4 192.168.8.20 JDK1.8、zookeeper-3.4.10
Centos 7.4 192.168.8.21 JDK1.8、zookeeper-3.4.10
Centos 7.4 192.168.8.22 JDK1.8、zookeeper-3.4.10
2）安装JDK1.8（3台机器都需要安装jdk）
[root@localhost ~]# cd /data/soft
[root@localhost soft]# wget -c https://mirrors.yangxingzhen.com/jdk/jdk-8u144-linux-x64.tar.gz
[root@localhost soft]# tar zxf jdk-8u144-linux-x64.gz -C /usr/local
配置环境变量
[root@localhost soft]# vim /etc/profile，添加以下内容
export JAVA_HOME=/usr/local/jdk1.8.0_144
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOMR/bin
执行source /etc/profile 使其生效
[root@localhost soft]# java -version
3）安装zookeepe
1、下载zookeeper包
[root@localhost soft]# wget -c http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
2、解压安装配置第一台zk
[root@localhost soft]# tar zxf zookeeper-3.4.10.tar.gz -C /usr/local/
[root@localhost soft]# cd /usr/local/zookeeper-3.4.10/
创建快照日志存放目录：
[root@localhost zookeeper-3.4.10]# mkdir -p dataDi
创建事务日志存放目录：
[root@localhost zookeeper-3.4.10]# mkdir -p datalogDi
【注意】:如果不配置dataLogDir，那么事务日志也会写在dataDir目录中。这样会严重影响zk的性能。因为在zk吞吐量很高的时候，产生的事务日志和快照日志太多。
[root@localhost zookeeper-3.4.10]# cd conf/
[root@localhost conf]# mv zoo_sample.cfg zoo.cfg
[root@localhost conf]# vim zoo.cfg
修改配置文件，配置如下内容：
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181
#存放数据文件
dataDir=/usr/local/zookeeper-3.4.10/dataDi
#存放日志文件
dataLogDir=/usr/local/zookeeper-3.4.10/datalogDi
#zookeeper cluster，2888为选举端口，3888为心跳端口
server.1=192.168.8.20:2888:3888
server.2=192.168.8.21:2888:3888
server.3=192.168.8.22:2888:3888
在我们配置的dataDir指定的目录下面，创建一个myid文件，里面内容为一个数字，用来标识当前主机，conf/zoo.cfg文件中配置的server.X中X为什么数字，则myid文件中就输入这个数字：
[root@localhost local]# echo "1" >/usr/local/zookeeper-3.4.10/dataDir/myid
2）远程复制第一台的zk到另外两台上，并修改myid文件为2和3
[root@localhost conf]# cd /usr/local/
[root@localhost local]# scp -rp zookeeper-3.4.10/ root@192.168.8.21:/usr/local/
[root@localhost local]# scp -rp zookeeper-3.4.10/ root@192.168.8.22:/usr/local/
在192.168.8.21执行
[root@localhost soft]# echo "2" >/usr/local/zookeeper-3.4.10/dataDir/myid
在192.168.8.22执行
[root@localhost soft]# echo "3" >/usr/local/zookeeper-3.4.10/dataDir/myid
4）启动和关闭zk
在ZooKeeper集群的每个结点上，执行启动ZooKeeper服务的脚本，如下所示：
[root@localhost local]# cd zookeeper-3.4.10/bin
[root@localhost bin]# ./zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.10/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
192.168.8.21：
[root@localhost soft]# cd /usr/local/zookeeper-3.4.10/bin/
[root@localhost bin]# ./zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.10/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
192.168.8.22：
[root@localhost soft]# cd /usr/local/zookeeper-3.4.10/bin/
[root@localhost bin]# ./zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.10/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
日志可查询：/usr/local/zookeeper-3.4.10/bin/zookeeper.out
可以通过命令jps查看Zookeeper进程：
[root@localhost bin]# jps
[root@localhost bin]# ps -ef |grep zookeepe
停止zk命令：
[root@localhost bin]# /usr/local/zookeeper-3.4.10/bin/zkServer.sh stop
5）测试zk集群
可以通过ZooKeeper的脚本来查看启动状态，包括集群中各个结点的角色（或是Leader，或是Follower）
IP：192.168.8.20
[root@localhost bin]# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: followe
IP：192.168.8.21
[root@localhost bin]# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leade
IP：192.168.8.22
[root@localhost bin]# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: followe
通过上面状态查询结果可见，192.168.8.21是集群的Leader，其余的两个结点是Follower。
另外，可以通过客户端脚本，连接到ZooKeeper集群上。对于客户端来说，ZooKeeper是一个整体，连接到ZooKeeper集群实际上感觉在独享整个集群的服务，所以，你可以在任何一个结点上建立到服务集群的连接。
zookeeper简单操作命令：
#连接到任意节点生成数据：
[root@localhost bin]# ./zkCli.sh -server 192.168.8.20:2181
[zk: 192.168.8.20:2181(CONNECTED) 0] create /test "hello"
Created /test
[zk: 192.168.8.20:2181(CONNECTED) 1] get /test
hello
cZxid = 0x100000002
ctime = Sun Aug 12 11:10:13 CST 2018
mZxid = 0x100000002
mtime = Sun Aug 12 11:10:13 CST 2018
pZxid = 0x100000002
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 0
#在其他zookeeper节点验证数据：
[root@localhost bin]# ./zkCli.sh -server 192.168.8.21:2181
[zk: 192.168.8.21:2181(CONNECTED) 0] get /test
hello
cZxid = 0x100000002
ctime = Sun Aug 12 11:10:13 CST 2018
mZxid = 0x100000002
mtime = Sun Aug 12 11:10:13 CST 2018
pZxid = 0x100000002
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 0
[root@localhost bin]# ./zkCli.sh -server 192.168.8.22:2181
[zk: 192.168.8.22:2181(CONNECTED) 0] get /test
hello
cZxid = 0x100000002
ctime = Sun Aug 12 11:10:13 CST 2018
mZxid = 0x100000002
mtime = Sun Aug 12 11:10:13 CST 2018
pZxid = 0x100000002
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 0
添加zookeeper环境变量/etc/profile内容如下
export PATH=/usr/local/zookeeper-3.4.10/bin:$PATH
执行source /etc/profile，使其生效
至此，Zookeeper集群搭建完毕。
