原生ZK API VS Curator
Apache ZooKeeper - 使用原生的API操作ZK
ZooKeeper原生Java API的不足之处:
- 连接zk超时时,不支持自动重连,需要手动操作
- Watch注册一次就会失效,需手工反复注册
- 不支持递归创建节点
- 异步支持,没有线程池
- …
Apache curator:
- 解决Watch注册一次就会失效的问题
- API 更加简单易用、封装了常用的ZooKeeper工具类
- 使用Curator实现比如分布式锁等需求更简单
- 异步执行,支持自定义线程池
- …
Curator是netflix公司开源的一套zookeeper客户端,Apache的顶级项目
与Zookeeper提供的原生客户端相比,Curator的抽象层次更高,简化了Zookeeper客户端的开发量
Curator解决了很多zookeeper客户端非常底层的细节开发工作,包括连接重连、反复注册wathcer和NodeExistsException 异常等
Curator 概述
Apache Curator : https://curator.apache.org/
看看模块
- curator-framework:对zookeeper的底层api的一些封装
- curator-client:提供一些客户端的操作,例如重试策略等
- curator-recipes:封装了一些高级特性,如:Cache事件监听、选举、分布式锁、分布式计数器、分布式Barrier等
Maven依赖
代码语言:javascript复制 <dependency>
<groupId>org.apache.curatorgroupId>
<artifactId>curator-recipesartifactId>
<version>5.0.0version>
<exclusions>
<exclusion>
<groupId>org.apache.zookeepergroupId>
<artifactId>zookeeperartifactId>
exclusion>
exclusions>
dependency>
<dependency>
<groupId>org.apache.curatorgroupId>
<artifactId>curator-x-discoveryartifactId>
<version>5.0.0version>
<exclusions>
<exclusion>
<groupId>org.apache.zookeepergroupId>
<artifactId>zookeeperartifactId>
exclusion>
exclusions>
dependency>
会话创建
和客户端/ 服务器交互,第一步就要创建会话
Curator 提供了多种方式创建会话
静态工厂方式创建会话
代码语言:javascript复制 RetryPolicy retryPolicy = new ExponentialBackoffRetry(5000, 30);
CuratorFramework client = CuratorFrameworkFactory.newClient(getConnectStr(), retryPolicy);
client .start();
使用 fluent 风格创建会话
代码语言:javascript复制 RetryPolicy retryPolicy = new ExponentialBackoffRetry(5000, 30);
curatorFramework = CuratorFrameworkFactory.builder().connectString(getConnectStr())
.retryPolicy(retryPolicy)
.sessionTimeoutMs(sessionTimeoutMs)
.connectionTimeoutMs(connectionTimeoutMs)
.canBeReadOnly(true)
.build();
curatorFramework.start();
上述代码采用了流式方式,最核心的类是 CuratorFramework 类,该类的作用是定义一个 ZooKeeper 客户端对象,并在之后的上下文中使用。
在定义 CuratorFramework 对象实例的时候, 使用了 CuratorFrameworkFactory 工厂方法,并指定了 connectionString服务器地址列表、retryPolicy 重试策略 、sessionTimeoutMs 会话超时时间、connectionTimeoutMs 会话创建超时时间。
- connectionString:服务器地址列表,在指定服务器地址列表的时候可以是一个地址,也可以是多个地址。如果是多个地址,那么每个服务器地址列表用逗号分隔, 如
host1:port1,host2:port2,host3:port3
- retryPolicy:重试策略,当客户端异常退出或者与服务端失去连接的时候,可以通过设置客户端重新连接 ZooKeeper 服务端。而 Curator 提供了 一次重试、多次重试等不同种类的实现方式。在 Curator 内部,可以通过判断服务器返回的 keeperException 的状态代码来判断是否进行重试处理,如果返回的是 OK 表示一切操作都没有问题,而 SYSTEMERROR 表示系统或服务端错误
策略名称 | 描述 |
---|---|
ExponentialBackoffRetry | 重试一组次数,重试之间的睡眠时间增加 |
RetryNTimes | 重试最大次数 |
RetryOneTime | 只重试一次 |
RetryUntilElapsed | 在给定的时间结束之前重试 |
- sessionTimeoutMs 超时时间:Curator 客户端创建过程中,有两个超时时间的设置。一个是 sessionTimeoutMs会话超时时间,用来设置该条会话在 ZooKeeper 服务端的失效时间。
- 另一个是 connectionTimeoutMs 客户端创建会话的超时时间,用来限制客户端发起一个会话连接到接收ZooKeeper 服务端应答的时间。sessionTimeoutMs 作用在服务端,而connectionTimeoutMs 作用在客户端。
创建节点
代码语言:javascript复制 /**
* 递归创建子节点
*/
@SneakyThrows
@Test
public void testCreateWithParent() {
CuratorFramework curatorFramework = getCuratorFramework();
String pathWithParent = "/artisan-node/artisan-node-sub1/artisan-node-sub1-1";
String path = curatorFramework.create().creatingParentsIfNeeded().forPath(pathWithParent);
log.info("curator create node :{} successfully.", path);
}
使用 create 函数创建数据节点,并通过 withMode 函数指定节点类型持久化节点,临时节点,顺序节点,临时顺序节点,持久化顺序节点等),默认是持久化节点,之后调用 forPath 函数来指定节点的路径和数据信息
protection 模式 ,规避僵尸节点
代码语言:javascript复制 /**
* protection 模式,防止由于异常原因,导致僵尸节点
* @throws Exception
*/
@SneakyThrows
@Test
public void testCreate() {
CuratorFramework curatorFramework = getCuratorFramework();
String forPath = curatorFramework
.create()
.withProtection() // 防止僵尸节点
.withMode(CreateMode.EPHEMERAL_SEQUENTIAL).
forPath("/curator-node", "data".getBytes());
log.info("curator create node :{} successfully.", forPath);
}
看下zk中的数据
实现原理后面单独开篇解读,总体思想就是 随机生成一个UUID, 再创建之前客户端根据这个缓存的UUID去看ZK Server是否存在,存在则认为是成功的,否则就继续创建。
获取数据
代码语言:javascript复制 @Test
public void testGetData() throws Exception {
CuratorFramework curatorFramework = getCuratorFramework();
byte[] bytes = curatorFramework.getData().forPath("/curator-node");
log.info("get data from node :{} successfully.", new String(bytes));
}
通过客户端实例的getData() 方法更新 ZooKeeper 服务上的数据节点,在getData 方法的后边,通过 forPath 函数来指定查询的节点名称
修改数据
代码语言:javascript复制@Test
public void testSetData() throws Exception {
CuratorFramework curatorFramework = getCuratorFramework();
curatorFramework.setData().forPath("/curator-node", "changed!".getBytes());
byte[] bytes = curatorFramework.getData().forPath("/curator-node");
log.info("get data from node /curator-node :{} successfully.", new String(bytes));
}
通过客户端实例的 setData() 方法更新 ZooKeeper 服务上的数据节点,在setData 方法的后边,通过 forPath 函数来指定更新的数据节点路径以及要更新的数据。
删除数据 guaranteed()
代码语言:javascript复制 @Test
public void testDelete() throws Exception {
CuratorFramework curatorFramework = getCuratorFramework();
String pathWithParent = "/node-parent";
curatorFramework.delete().guaranteed().deletingChildrenIfNeeded().forPath(pathWithParent);
}
guaranteed:主要起到一个保障删除成功的作用, 只要该客户端的会话有效,就会在后台持续发起删除请求,直到该数据节点在ZooKeeper 服务端被删除。
deletingChildrenIfNeeded:指定了该函数后,系统在删除该数据节点的时候会以递归的方式直接删除其子节点,以及子节点的子节点。
获取子节点
代码语言:javascript复制 @Test
public void testListChildren() throws Exception {
CuratorFramework curatorFramework = getCuratorFramework();
String pathWithParent = "/artisan-node";
List<String> list = curatorFramework.getChildren().forPath(pathWithParent);
list.forEach(System.out::println);
}
通过客户端实例的 getChildren() 方法更新 ZooKeeper 服务上的数据节点,在getChildren方法的后边,通过 forPath 函数来指定节点下的一级子节点的名称
异步线程池
Curator 使用BackgroundCallback 接口处理服务器端返回来的信息。
如果在异步线程中调用,默认在 EventThread 线程中调用,支持自定义线程池
代码语言:javascript复制 /**
* 使用默认的 EventThread异步线程处理
* @throws Exception
*/
@Test
public void testThreadPoolByDefaultEventThread() throws Exception {
CuratorFramework curatorFramework = getCuratorFramework();
String ZK_NODE="/artisan-node";
curatorFramework.getData().inBackground((client, event) -> {
log.info(" background: {}", new String(event.getData()));
}).forPath(ZK_NODE);;
}
代码语言:javascript复制 /**
* 使用自定义线程池
* @throws Exception
*/
@Test
public void testThreadPoolByCustomThreadPool() throws Exception {
CuratorFramework curatorFramework = getCuratorFramework();
ExecutorService executorService = Executors.newSingleThreadExecutor();
String ZK_NODE="/artisan-node";
curatorFramework.getData().inBackground((client, event) -> {
log.info(" background: {}", new String(event.getData()));
},executorService).forPath(ZK_NODE);
}