数据同步服务RSYNC

2024-07-08 09:46:02 浏览数 (1)

大家好呀！这里是码农后端。今天来介绍一下数据同步服务RSYNC，作为Linux/Unix系统中远程或本地同步（复制）文件和目录最常用的命令，相比于scp命令，其具有增量备份、数据同步时保持文件的原有属性等优点。

一、RSYNC概述

1、几种方式

  • sync 同步：刷新文件系统缓存，强制将修改过的数据块写入磁盘，并且更新超级块。
  • async 异步：将数据先放到缓冲区，再周期性（一般是30s）的去同步到磁盘。
  • rsync 远程同步：remote synchronous

数据同步过程

以保存文件为目标，sync数据同步会强制把缓存中的数据写入磁盘（立即保存），适合实时性要求比较高的场景。而asyn数据异步则是先将数据先放到缓冲区，再周期性（一般是30s）的去同步到磁盘，适合批量数据同步的场景。

同步(Synchronous)，异步(Asynchronous)，远程同步（Remote Synchronous）

2、rsync特点

1）可以镜像保存整个目录树和文件系统

2）可以保留原有的权限(permission,mode)，owner,group,时间(修改时间,modify time)，软硬链接，文件acl，文件属性(attributes)信息等

3）传输效率高，使用同步算法，只比较变化的（增量备份）

如把A服务器中的file1.txt、file2.txt、file3.txt传输到B服务器，使用rsync实现数据同步，会先比较，假设B服务器中存在file1.txt、file2.txt，则只会同步file3.txt。

4）支持匿名传输，方便网站镜像；也可以做验证，加强安全

3、rsync与scp的区别

两者都可以实现远程同步，但rsync相对更强一些。体现如下：

1）支持增量备份

2）数据同步时保持文件的原有属性

二、RSYNC的使用

1、基本语法

1）使用man命令查看帮助手册

代码语言：powershell复制
man rsync

2）选项说明

代码语言：powershell复制
OPTION选项说明（一般使用 -av）
-v    	详细模式输出
-a    	归档模式，递归的方式传输文件，并保持文件的属性，equals -rlptgoD

-r    	递归拷贝目录
-l		保留软链接
-p    	保留原有权限
-t     	保留原有时间（修改）
-g    	保留属组权限
-o     	保留属主权限
-D    	等于--devices  --specials    表示支持b,c,s,p类型的文件

-R	    保留相对路径
-H    	保留硬链接
-A    	保留ACL策略
-e     	指定要执行的远程shell命令，ssh更改端口常用选项
-E     	保留可执行权限
-X     	保留扩展属性信息  a属性

PUSH：推，即上传；PULL：拉，即下载

2、本地文件同步

本地文件同步可以理解为：把文件从一个位置（同步=>拷贝）到另一个位置（类似cp）

eg1：/dir1、/dir2与/dir3，/dir1中创建三个文件file1、file2、file3，使用rsync本地同步

代码语言：powershell复制
# 创建目录
mkdir /dir1
mkdir /dir2
mkdir /dir3
# /dir1中创建三个文件file1、file2、file3
touch /dir1/file{1..3}

rsync -av /dir1/ /dir2		=>   把/dir1目录中的所有文件拷贝到/dir2目录中
rsync -av /dir1 /dir3			=>   把/dir1目录整体同步到/dir3目录中

eg2：rsync -R选项的应用（保留相对路径）

代码语言：powershell复制
rsync -avR /dir1/ /dir2

eg3：rsync --delete（删除目标目录里多余的文件）

/dir1（file1、file2）

/dir2（file1、file2、file3）

rsync --delete同步后，会自动删除file3文件。（让dir1与dir2目录中的文件高度一致）

代码语言：powershell复制
rsync -av --delete /dir1/ /dir2

3、rsync作为系统服务

默认情况下，rsync只是作为一个命令来进行使用的（ps在查询进程时，找不到对应的服务），但是rsync提供了一种作为系统服务的实现方式。

Linux系统服务的思路：

对外提供服务——>端口监听——>启动服务——>启动脚本——>配置文件

1）启动rsyncd服务（CentOS6中没有，CentOS7中有这个服务）

代码语言：powershell复制
systemctl start rsyncd

如果企业中使用到操作系统为CentOS6版本，则没有启动脚本。则需要查看帮助手册：

代码语言：powershell复制
man rsync
rsync --help
rsync --daemon --help

# CentOS6：rsync作为系统服务
# 1、先创建文件
touch /etc/rsyncd.conf
# 2、启动服务，作为后台运行
rsync --daemon

# 查看服务进程
ps -ef|grep rsync
# 查看服务端口号
netstat -tunlp |grep rsync	=>  -t tcp , -u udp

注：如果rsync作为系统服务单独运行，则其底层就不需要SSH服务了

2）rsyncd服务的配置文件/etc/rsyncd.conf

代码语言：powershell复制
man 5 rsyncd.conf

三、任务解决方案

1、环境准备

用到的服务器及对应IP配置如下：

编号

IP地址

主机名称

角色

1

10.1.1.10

code.itweb.cn

Code（MIS）

2

10.1.1.100

backup.itweb.cn

Backup（Backup）

1）关闭防火墙与SELinux

代码语言：powershell复制
# 关闭防火墙
systemctl stop firewalld
# 禁止开机启动
systemctl disable firewalld
# 获取SELinux的状态
setenforce 0

vim /etc/selinux/config
SELINUX=disabled

2）更改主机名称

代码语言：powershell复制
hostnamectl set-hostname code.itweb.cn
hostnamectl set-hostname backup.itweb.cn
# 切换生效
su

3）更改IP地址（静态IP）

代码语言：powershell复制
# 服务器Code
vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.10
NETMASK=255.255.255.0
GATEWAY=10.1.1.2 # 网关，连接外网
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc90u"		=> 更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"

# 服务器Backup
vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.100
NETMASK=255.255.255.0
GATEWAY=10.1.1.2 # 网关，连接外网
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc56y"		=>更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"
# 重启网络
systemctl restart network

关于上述一些常见的参数的说明，如下图

4）关闭NetworkManager

代码语言：powershell复制
systemctl stop NetworkManager
systemctl disable NetworkManager

5）配置YUM源

可以使用官方默认的YUM，如有需要可自行配置。

6）时间同步

代码语言：powershell复制
ntpdate cn.ntp.org.cn

2、远程文件同步

1）Push：上传文件到远程服务器端

代码语言：powershell复制
rsync -av 本地文件或目录 远程用户名@远程服务器的IP地址:目标路径

eg1：把linux.txt文档传输到远程服务器端（10.1.1.100）的root目录下

代码语言：powershell复制
rsync -av linux.txt root@10.1.1.100:/root

eg2：把shop文件夹传输到远程服务器端（10.1.1.100）的root目录下

代码语言：powershell复制
rsync -av shop root@10.1.1.100:/root

2）Pull：下载文件到本地服务器端

代码语言：powershell复制
rsync -av 远程用户名@远程服务器的IP:目标文件或目录 本地存储位置

eg1：把远程服务器（10.1.1.100）的/etc/hosts文件下载到本地

代码语言：powershell复制
rsync -av root@10.1.1.100:/etc/hosts ./

eg2：把远程服务器（10.1.1.100）的/shop文件夹下载到本地

代码语言：powershell复制
rsync -av root@10.1.1.100:/shop ./

扩展：

问题1：rsync远程同步数据时，默认情况下为什么需要密码？如果不想要密码同步怎么实现？

rsync在远程同步时，之所以要输入密码是因为其底层还是基于SSH服务的。SSH有两种认证方式，如果没有配置免密则默认使用用户名 密码的认证方式。

如果不想要密码同步，可以考虑使用SSH免密操作。

Code => Backup

Code：

代码语言：powershell复制
# 生成公钥和私钥
ssh-keygen -t rsa -P ""
# 将公钥发送给10.1.1.100服务器
ssh-copy-id root@10.1.1.100

问题2：如果Backup服务器端更改了SSH的默认端口（如更改为10086），又该如何同步？

代码语言：powershell复制
# 使用 -e选项
rsync -e "ssh -p 10086" -av rsync.txt root@10.1.1.100:/root

3、给RSYNC服务添加密码（扩展）

Code服务器：

1）打开/etc/rsyncd.conf配置文件

代码语言：powershell复制
vim /etc/rsyncd.conf

[app]
path=/app/java_project
log file=/var/log/rsync.log
# 添加
auth users = user1,user2				=>   用户名
secrets file = /etc/rsyncd.secrets		=>   密码文件

2）在/etc目录下创建rsyncd.secrets文件

代码语言：powershell复制
vim /etc/rsyncd.secrets

user1:123							 	=>   设置密码，用户名:密码
user2:123

3）更改密码文件权限为600

代码语言：powershell复制
chmod 600 /etc/rsyncd.secrets

4）重启rsyncd服务

代码语言：powershell复制
systemctl restart rsyncd

Backup备份服务器：

代码语言：powershell复制
rsync -av user1@10.1.1.10::app ./
Password:123

我正在参与2024腾讯技术创作特训营最新征文，快来和我瓜分大奖！

linux rsync 腾讯技术创作特训营S7

0 人点赞