在之前的文章中,我们介绍了基于 CBBACK 以及 CBRESTORE 等操作方式进行的分布式数据库 Couchbase 集群迁移方案,具体可参考链接:分布式数据库Couchbase 集群迁移。其实,在基于不同的业务场景以及架构方案,针对分布式数据库 Couchbase 集群迁移有多种不同的实现策略,只有能够达到高效、稳定及安全,才是最优选择。
在进行主题之前先补充一下分布式数据库 Couchbase 一些基本概念:在 Couchbase 的集群架构中,没有中心节点和 Router 的概念,这些工作是由 Smartclient 完成的,在客户端与 Couchbase Server 交互时,Couchbase 集群是作为一个黑匣子存在的。客户端负责客户程序与群集里独立节点的通信,首次连接的那个节点并不会充当代理或者分发的角色。Smartclient 或 Moxi( Couchbase Server 端的 Proxy组件)会加载 vBucket 映射表,并决定连接到集群里的哪个节点去获取和存储数据。如果集群的拓扑图改变了(比如执行 Rebalance 或者 Ffailover 操作),客户端库会自动处理任何会话错误。可以这样理解,集群的配置和结构,对应用程序是透明的,我们无需去过多关注。
什么是 Buckets,Buckets 是独立的虚拟的数据容器,一个 Bucket 就是 Couchbase服务器集群中的一个逻辑组,可以被集群中的多个客户端应用使用。它提供安全的机制来组织、管理、分析数据存储资源。
什么是 vBuckets,一个 vBucket 定义为 Couchbase 集群里 Key 空间的一个子集的拥有者。通过使用 vBuckets,信息在集群里分发更有效。vBucket 系统被用于分布式数据,以及支持多节点间的数据复制。
在 Couchbase 中 Bucket有两种类型,一种是 Couchbase 类型,另一种是 Memcache类型,Couchbase 类型 Bucket 支持数据的持久化,因为它的数据是存储在磁盘上,把活跃的数据读取到内存中供客户端使用(后续的备份和Failover也仅是针对这种类型的 Bucket),而 Memcache 类型的 Bucket 是内存级别的,所有的数据均保存在内存中。现在我们开始切入主题,我们老的 Couchbase 服务器,使用了这两种类型的 Bucket,我们使用 Couchbase 类型的 Bucket存储的是持久化的数据,供我们的客户端调用,这部分数据相当重要且不能丢失。
基本思路:
1、备份老的 Couchbase 服务数据
2、将新 Couchbase 服务器加入到老服务器集群中,并通过 Rebalance 同步两台服务器 Cache 数据
3、修改客户端 Couchbase 配置节点
4、Failover 老服务器进行升级
本文主要基于 CBTRANSFER 操作方案以实现 Couchbase 集群迁移。具体如下所示:
我们先描述当前的环境信息,具体如下所示:
--- 环境描述:CentOS release 6.7 (Final)
--- 源主机IP:10.10.10.10(此处真实地址已xx)
--- 目标主机IP:11.11.11.11(此处真实地址已xx)
--- 应用服务:Couchbase-server-enterprise-5.5.2-centos6.x86_64.rpm版本
CBTRANSFER
基于集群之间或者数据文件进行转换以实现无缝迁移。其语法为:
代码语言:javascript复制cbtransfer [options] source destination
具体如下所示:
代码语言:javascript复制[root@testserver bin]# ./cbtransfer -u Administrator -p password http://10.10.10.10:8091 http://11.11.11.11:8091 -b xwf_main --bucket-destination xwf_main
// http://10.10.10.10:8091 参数为源主机
// http://11.11.11.11:8091 参数为目标主机
// -b 参数为源主机对应的bucket信息
// --bucket-destination 参数为目标主机对应的bucket信息
.
bucket: xwf_main, msgs transferred...
: total | last | per sec
byte : 0 | 0 | 0.0
done
代码语言:javascript复制 [root@testserver bin]#./cbtransfer -v -u Administrator -p password http:/10.10.10.10:8091 http://11.11.11.11:8091 -b xwf_main --bucket-destination xwf_main
2016-01-03 14:55:17,477: mt cbtransfer...
2016-01-03 14:55:17,478: mt source : http://10.10.10.10:8091
2016-01-03 14:55:17,478: mt sink : http://11.11.11.11:8091
2016-01-03 14:55:17,478: mt opts : {'username': '<xxx>', 'destination_vbucket_state': 'active', 'verbose': 1, 'extra': {'max_retry': 10.0, 'rehash': 0.0,'dcp_consumer_queue_length': 1000.0, 'data_only': 0.0, 'uncompress': 0.0, 'nmv_retry': 1.0, 'conflict_resolve': 1.0, 'cbb_max_mb': 100000.0, 'report': 5.0, 'mcd_compatible': 1.0, 'try_xwm': 1.0, 'backoff_cap': 10.0, 'batch_max_bytes': 400000.0, 'report_full': 2000.0, 'flow_control': 1.0, 'batch_max_size': 1000.0,'seqno': 0.0, 'design_doc_only': 0.0, 'allow_recovery_vb_remap': 0.0, 'recv_min_bytes': 4096.0}, 'collection': None, 'ssl': False, 'threads': 4, 'key': None,'password': '<xxx>', 'id': None, 'destination_operation': None, 'source_vbucket_state': 'active', 'silent': False, 'dry_run': False, 'single_node': False, 'bucket_destination': 'xwf_main', 'vbucket_list': None, 'separator': '::', 'bucket_source': 'xwf_main'}
2016-01-03 14:55:17,492: mt Starting new HTTP connection (1): 10.10.10.10
2016-01-03 14:55:17,604: mt Starting new HTTP connection (1): 11.11.11.11
2016-01-03 14:55:17,697: mt bucket: xwf_main
2016-01-
03 14:55:17,940: w0 source: http://10.10.10.10:8091(xwf_main@10.10.10.10:8091)
2016-01-
03 14:55:17,940: w0 sink: http://11.11.11.11:8091(xwf_main@10.10.10.10:8091)
2016-01-03 14:55:17,941: w0 : total | last | per sec
.
bucket: xwf_main, msgs transferred...
: total | last | per sec
batch : 0 | 0 | 0.0
byte : 0 | 0 | 0.0
msg : 0 | 0 | 0.0
2016-01-03 14:55:17,998: mt Starting new HTTP connection (1): 10.10.10.10
2016-01-03 14:55:18,003: mt Starting new HTTP connection (1): 10.10.10.10
2016-01-03 14:55:18,054: mt Starting new HTTP connection (1): 11.11.11.11
2016-01-03 14:55:18,061: mt Starting new HTTP connection (1): 11.11.11.11
2016-01-03 14:55:18,103: mt Starting new HTTP connection (1): 10.10.10.10
2016-01-03 14:55:18,110: mt Starting new HTTP connection (1): 10.10.10.10
done
至此,一个简单的关于 Couchbase 集群迁移操作轻松搞定,后续仅需要对新的集群进行 Rebalancing 操作即可。