数据库的备份在普通的数据库是很正常不过的,但对于分布式数据库来说,备份是比较复杂. 下面就的说说TIDB 分布式数据库的备份和恢复的问题了.
备份的重要性来说,主要分为以下几点
1 数据的灾难恢复
2 数据迁移
3 数据的审计与分析
在TIDB 中备份的类型主要分为
1 热备份: 在备份中数据是可以进行正常操作的,备份不会影响线上的业务
2 冷备份: 数据库系统需要关闭后才能进行相关的数据的备份
3 温备份: 这个概念有点新,这个情况是可以是在备份时数据不可以进行变更,但可以读取. (这个概念估计是分布式数据库提出的新的想法,与分布式数据库的特性有关)
热备份的方式主要以一下方式来进行数据的备份和锁定
1 一般通过MVCC 通过 snapshot isolation 来进行数据的获取
2 通过轻量级锁的方式来机械能数据的
3 对数据不进行锁定,直接读取数据
冷备份主要的特点
1 冷备份,一般需要系统关闭的状态进行
2 通过关闭系统来保证数据的一致性
3 备份的要求多,很少的可能会进行冷备份,(针对业务来说冷备份的成本高)
温备份
1 在备份期间无法修改数据
2 配合某些场景,可以在某些业务的特殊期进行相关的备份工作
3 可以满足部分的业务需求,但在备份期间会影响部分业务的进行
备份的技术主要有以下几种
1 逻辑备份
类似MYSQL的MYSQLDUMP的备份方式,备份的数据是以SQL语句的方式体现的,好处在于可以通过备份直接进行数据的恢复,不需要借助其他的工具.
并且通过逻辑备份的方式,可以灵活的进行数据的恢复和不同种类的数据的迁移. 特点是灵活性高, 但备份的速度很慢.
2 物理备份
物理备份类似于MYSQL的XTRABACKUP的方式进行数据的拷贝和恢复,特点也很明显,备份的速度很快,恢复的速度也很快, 但只能在同类数据库中进行恢复.
3 基于复制与增量的备份
在分布式数据库中,备份的意义受到挑战,本身的数据多副本,是不需要数据的备份,数据有多个副本可以保证数据的安全,但问题在于对于传统的备份理念来说,这不太好被接受.
物理备份数据的条件主要有以下注意和条件要求
TIDB 支持如上的备份方式
1 BR 工具是一种物理备份的方式,在备份时是不会影响整体业务,数据库的读写都是正常进行的.
2 Dumpling 逻辑备份的方式
3 复制本身在传统的理念来说并不是一种有效的备份的方式
4 操作系统备份,会影响整体业务的运行.
在TIDB 5.0后,可以使用Ticdc的方式来进行数据的备份.
这里在TIDB的备份技术选择中,提出相关的备份需求, 这里补充以下个人的观点:
1 备份的目的是什么 ,如果备份的目的是为了审计或数据的生产到测试环节的迁移,则我们需要一个完整的备份
2 备份如果是未来灾备,或者灾难恢复,则我们可以对分布式数据库的备份的观念进行更新,利用复制的技术来进行灾难备份的备份和恢复,也是一个好的想法.
BR 工具是BACKUP& RESTORE 备份和恢复的工具, BR工具是一种数据的热备份的工具, 同时通过BR工具也可以进行相关的数据的热恢复,当然热恢复是有相关的要求的.
BR 工具主要的场景有 大数据量备份,并且数据的备份速度快,备份的文件是SST文件,并且恢复只能到TIDB数据库
备份中TIKV 会将所有的TIKV的数据进行备份,通过指定一个额外的路径,每个TIKV 都会将数据拷贝到指定的位置. 备份是从TIKV 中的LEADER中拷贝数据,通过底层的ROCKSDB来进行数据的拷贝. 这里通过MVCC的方式来进行数据的一致性拷贝. 恢复也是使用同样的原理来进行.
关于BR的使用中的注意事项
1 假设我们的MYSQL 有主从， 但是我此时在主库通过attach的方法加载了一个表，此时我们的从库是不会得到这个附加得到表， 这也是BR使用限制中第一项中的意思。
2 备份和恢复的字符集的配置应该是一致的，不能源和目的排序规则不同，这样数据在恢复后是无法正常使用的。
3 对于备份和恢复的表的消耗中，BR的备份1000张表时 内存使用在4GB ， 而，如果超过1000张表则消耗会有所提升。
4 对于备份时备份的兼容性建议还是进行检查，否则备份的文件可能会失效。
TIDB 支持两种方式来进行备份， 在TIDB SERVER中通过SQL 语句来进行备份，或者直接通过命令行的方式来进行备份。
下面我们看看相关的命令
1 br 是 br 备份的执行的命令, full 是完全的备份
2 --storage 是将每个KV 的数据复制到每个KV的位置,所以备份后,每个TIKV都有自己的备份文件
3 --ratelimit 是备份的限制, 120 为每秒 120MB
4 --log-file 是备份的日志文件
这里需要再次提醒
--storage 的数据文件是整体集群的数据的集合,而不是每个KV 自己在自己的LOCAL的磁盘上的文件.
下面是单表和单库备份的参数的方式
对数据恢复中,对备份的结果集中恢复选择的数据库和表
增量备份,增量备份主要是通过时间戳的方式比对,来将上次备份后新增的数据进行数据的备份.
1 虽然BR 是可以进行数据的热备份,但是对于业务来说,还是建议在非高峰时间备份
2 恢复数据期间BR 是可以沾满磁盘的性能,不建议在高峰期操作
3 BR 备份不要同时运行多个, 一次只能运行一个恢复的BR
4 备份和恢复设计时要有相关的共同的共享存储
5 为了尽快完成任务,建议使用SSD 磁盘来作为备份的存储介质
总结:
BR 是物理备份,不是逻辑备份,BR 工具在恢复时数据可以是读写的状态,当备份的数据量大的情况下,不可以停库,又要求备份效率的时候,BR工具具有比dumpling 和操作系统拷贝更高的优越性.
