rsync介绍
rsync是Liunx下的远程数据同步工具,可快速同步多台主机间的文件和目录,并可实现增量同步以减少数据的传输。
rsync有两种常用的认证方式,一种是rsync-daemon方式,另外一种是ssh方式。具体配置方法可参考
【玩转服务器】CentOS通过rsync实现文件同步(SSH方式)
【玩转服务器】CentOS通过rsync实现文件同步(daemon方式)
但rsync无法做到实时同步,即便使用免交互式进行同步,也只能人工手动操作或借助于计划任务的方式进行,存在时间差。并且因为rsync是扫描所有文件后差量传递,当文件数量过多时,效率也比较低下。此时可以使用rsync inotify组合的方式。
本文主要介绍在CentOS操作系统中以rsync inotify组合方式实现文件实时同步的步骤。
inotify介绍
inotify是一种强大的、细粒度的、异步的文件系统事件监听机制,可以监听文件系统中添加、删除,修改、移动等各种细微事件,做到对事件的实时响应,高效并且没有轮询造成的系统资源消耗。
inotify可以监听文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样刚好解决同步数据的实时性问题。
inotify命令介绍
inotify-tools 包含了两个命令:inotifywait 与 inotifywatch。
inotifywait:在被监听的文件或目录上等待特定文件系统事件发生,执行后处于阻塞状态。简单的说就是发生事件就执行。 inotifywatch:用于收集文件系统的统计数据,例如发生了多少次 inotify 事件,某文件被访问了多少次等等。简单的说是用于统计的。
因inotifywait可以做到监听事件,所以实现文件实时同步主要使用inotifywait。
实现目标
远程服务器192.168.1.1,开启 rsyncd 服务,无需配置 inotify
本地服务器192.168.1.2,配置 inotify 服务,配置 rsync 账号密码用于免交互式同步
在本地服务器指定目录文件发生变化时,实时同步至远程服务器。此场景可用于文件的实时备份或主从同步。
具体实践
1、远程服务器配置rsync-daemon方式,本地服务器配置同步账号信息,具体操作参考
【玩转服务器】CentOS通过rsync实现文件同步(daemon方式)
2、在本地服务器安装inotify
代码语言:javascript复制yum install epel-release -y
yum install inotify-tools -y
3、本地服务器创建 inotify.sh 脚本文件,用于监听文件变动并进行同步
代码语言:javascript复制# 保存路径及文件名可根据实际情况修改
vim /home/inotify.sh
4、输入以下内容,部分内容可根据情况进行调整
代码语言:javascript复制# 远程主机ip地址
host=192.168.1.1
# 本地服务器同步目录(不含backup目录本身,即同步backup目录内的文件和子目录)
src=/backup/
# 远程服务器 rsync 服务模块名
des=backup
# rsync服务用户连接认证密码文件路径
password=/etc/rsync.password
# 连接认证用户
user=rsync_backup
# inotifywait 程序路径
inotifywait=/usr/bin/inotifywait
# 监听文件变化进行传输
$inotifywait -mrq -e 'modify,delete,create,attrib' $src |while read files;
do
rsync -azP --delete $src $user@$host::$des --password-file=${password};
# 日志,可视情况开启
# echo "${files} was rsynced!" >> /home/rsync_inotify.log 2>&1;
done
监听事件modify(修改),delete(删除),create(创建),attrib(元数据修改)被触发时进行rsync传输
5、运行脚本进行监听
代码语言:javascript复制sh /home/inotify.sh
脚本运行后,当本地服务器/backup目录内发生上述事件后,实时调用 rsync 同步至远程服务器。
6、测试同步功能
本地服务器运行以下命令
代码语言:javascript复制# 进入指定目录
cd /backup/
# 建立测试文件夹
mkdir test1
# 建立测试文件
touch 1.txt
远程服务器运行以下测试命令
代码语言:javascript复制# 进入指定目录
cd /backup/
# 显示文件列表
ls
# 显示以下内容,同步完成
# 可能显示 test1 1.txt
inotifywait参数
-m 持续监听指定的文件或目录 -r 递归监听指定目录及其子目录下的文件变化 -q 静默模式,只打印出需要的信息 -e 指定要监听的事件类型,可以是多个事件类型组合,如 create、delete、modify、move
监听事件
inotify 监听的文件系统常用事件包括:
access:访问,读取文件 modify:修改,文件内容被修改 attrib:属性,文件元数据被修改 move:移动,对文件进行移动操作 create:创建,生成新文件 open:打开,对文件进行打开操作 close:关闭,对文件进行关闭操作 delete:删除,文件被删除