Linux下如何使用Rsync备份服务器重要数据

SYNOPSIS
       Local:  rsync [OPTION...] SRC... [DEST]

       Access via remote shell:
         Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
         Push: rsync [OPTION...] SRC... [USER@]HOST:DEST

       Access via rsync daemon:
         Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
               rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
         Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
               rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST
    
测试发送：rsync -nr -i SRC  DEST
OPTION
  -a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD
  -v, --verbose 详细模式输出
  -p, --perms 保持文件权限
  -g, --group 保持文件属组信息
  -o, --owner 保持文件属主信息
  -r, --recursive 对子目录以递归模式处理。同步目录的时候要加上这个参数
  -l, --links 保留软链结，加上这个参数，同步过来的文件会保持之前的软链接属性不变
  -H, --hard-links 保留硬链结
  -e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步
  -z, --compress 对备份的文件在传输时进行压缩处理
  --stats 给出某些文件的传输状态
  --progress 打印同步的过程
  --timeout=TIME 同步过程中，IP超时时间，单位为秒
  --delete 删除那些目标目录中有而源目录中没有的多余文件。这个是rsync做增量方式的全备份的最佳选择方案！！！！！！
  --delete-before 接受者在输出之前进行删除操作。即先将目标目录中文件全部删除，再将源目录文件拷贝过去。这是rsync保持目标目录跟源目录一致的方案！！！
  --delete-after 在同步操作之后做比较，删除那些目标目录中有而源目录中没有的多余文件
  --delete-excluded 删除目标目录中那些被该选项指定排除的文件
  --ignore-errors 即使出现IO错误也进行删除，忽略错误
  --exclude 指定同步时需要过滤掉的文件或子目录(即不需要同步过去的)，后面直接跟不需要同步的单个文件名或子目录(不需要跟路径) ，过滤多个文件或子目录，就使用多个--exclude
  --exclude-from 指定同步时需要过滤掉的文件或子目录，后面跟文件(比如/root/exclue.txt)，然后将不需要同步的文件和子目录放到/root/exclue.txt下。
  --version 打印版本信息
  --port=PORT 指定其他的rsync服务端口
  --log-format=formAT 指定日志文件格式
  --password-file=FILE 从FILE中得到密码
  --bwlimit=KBPS 限制I/O带宽，KBytes per second
  --existing  只更新目标端已存在的文件
  --ignore-existing   更新目标端不存在的文件
  --remove-source-files   删除源端文件

例1：本地以及远程shell格式。
[root@Server-01 ~]# rsync /etc/fstab /tmp                # 在本地同步
[root@Server-01 ~]# rsync -r /etc 172.16.10.37:/tmp      # 将本地/etc目录拷贝到远程主机的/tmp下，以保证远程/tmp目录和本地/etc保持同步
[root@Server-01 ~]# rsync -r 172.16.10.5:/etc /tmp       # 将远程主机的/etc目录拷贝到本地/tmp下，以保证本地/tmp目录和远程/etc保持同步
[root@Server-01 ~]# rsync /etc/                          # 列出本地/etc/目录下的文件列表
[root@Server-01 ~]# rsync 172.16.10.5:/tmp/              # 列出远程主机上/tmp/目录下的文件列表

例2：源路径如果是一个目录的话，带上尾随斜线和不带尾随斜线是不一样的。
[root@Server-01 ~]# rsync -a /data /tmp       # 表示的是整个目录包括目录本身
[root@Server-01 ~]# rsync -a /data/ /tmp      # 表示的是目录中的文件，不包括目录本身

例3：如果要拷贝的源路径较长，但只想在目标主机上保留一部分目录结构，例如要拷贝/etc/sysconfig/network-scripts/*到/tmp下，但只想在/tmp下保留从sysconfig开始的目录，如何操作？
[root@Server-01 ~]# rsync -r -R /etc/./sysconfig/network-scripts /tmp
skipping non-regular file "sysconfig/network-scripts/ifdown"
skipping non-regular file "sysconfig/network-scripts/ifdown-isdn"
skipping non-regular file "sysconfig/network-scripts/ifup"
skipping non-regular file "sysconfig/network-scripts/ifup-isdn"
[root@Server-01 ~]# ls /tmp/
sysconfig

例4：可以使用"--backup-dir"指定备份文件保存路径，但要求保存路径必须存在。
[root@Server-01 ~]# rsync -r -R --backup --backup-dir=/tmp/sysconfig_bak /etc/./sysconfig/network-scripts /tmp
skipping non-regular file "sysconfig/network-scripts/ifdown"
skipping non-regular file "sysconfig/network-scripts/ifdown-isdn"
skipping non-regular file "sysconfig/network-scripts/ifup"
skipping non-regular file "sysconfig/network-scripts/ifup-isdn"
[root@Server-01 ~]#
[root@Server-01 ~]# ls /tmp/
sysconfig  sysconfig_bak

例5：排除文件夹或文件，使用 ‘--exclude-from‘ ；
[root@Server-01 ~]# rsync -r -v --exclude-from=‘dir1‘ /data/ /tmp　　　　# 同步/data/目录下所有目录（除/data/dir1目录）

[root@Server-01 ~]# yum install -y rsync
[root@Server-01 ~]# rpm -qa | grep rsync
rsync-3.1.2-10.el7.x86_64

[root@Server-01 ~]# systemctl start rsyncd
[root@Server-01 ~]# systemctl enable rsyncd
[root@Server-01 ~]# netstat -nutlp | grep rsync
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      12414/rsync
tcp6       0      0 :::873                  :::*                    LISTEN      12414/rsync

# 创建rsync虚拟账户名和密码,并赋予密码文件600权限
[root@Server-01 ~]# echo "123456" > /etc/rsyncd.passwd
[root@Server-01 ~]# chmod 600 /etc/rsyncd.passwd
[root@Server-01 ~]# ls -l /etc/rsyncd.passwd
-rw-------. 1 root root 20 Jun 30 14:55 /etc/rsyncd.passwd

[root@Server-01 ~]# mkdir /data/{logServer01,mongodbServer01}
[root@Server-01 ~]# ls -l /data/
drwxr-xr-x. 2 root root 6 Jun 30 15:02 logServer01
drwxr-xr-x. 2 root root 6 Jun 30 15:02 mongodbServer01

# 在发送端进行推送/data/logServer01;/data/mongodbServer01测试
[root@Server-01 ~]# rsync -avzP /data/logServer01 rsync_backup@172.16.70.37::log --password-file=/etc/rsyncd.passwd
[root@Server-01 ~]# rsync -avzP /data/mongodbServer01 rsync_backup@172.16.70.37::mongodb --password-file=/etc/rsyncd.passwd

# 在接收端检验是否同步
[root@rsyncBak ~]# ls -l /data/*
/data/logBk:
total 0
drwxr-xr-x. 2 rsync rsync 18 Jun 30 15:10 logServer01

/data/mongodbBk:
total 0
drwxr-xr-x. 2 rsync rsync 17 Jun 30 15:10 mongodbServer01

[root@rsyncBak ~]# rpm -qa | grep rsync
[root@rsyncBak ~]# yum install -y rsync
[root@rsyncBak ~]# rsync --version
rsync  version 3.1.2  protocol version 31
Copyright (C) 1996-2015 by Andrew Tridgell, Wayne Davison, and others.
Web site: http://rsync.samba.org/
Capabilities:
    64-bit files, 64-bit inums, 64-bit timestamps, 64-bit long ints,
    socketpairs, hardlinks, symlinks, IPv6, batchfiles, inplace,
    append, ACLs, xattrs, iconv, symtimes, prealloc

rsync comes with ABSOLUTELY NO WARRANTY.  This is free software, and you
are welcome to redistribute it under certain conditions.  See the GNU
General Public Licence for details. 

[root@rsyncBak ~]# cp /etc/rsyncd.conf{,.bak}
[root@rsyncBak ~]# vim /etc/rsyncd.conf
......
# 末行新增以下内容
######## 全局配置参数 ##########
uid = rsync
# rsync服务的运行用户，默认是nobody，文件传输成功后属主将是这个uid
gid = rsync
# rsync服务的运行组，默认是nobody，文件传输成功后属组将是这个gid
port = 873
# 指定rsync端口。默认873
fake super = yes
# 无需让rsync以root身份运行，允许接收文件的完整属性
use chroot = no
# rsync daemon在传输前是否切换到指定的path目录下，并将其监禁在内
max connections = 200
# 指定最大连接数量，0表示没有限制
timeout = 300
# 确保rsync服务器不会永远等待一个崩溃的客户端，0表示永远等待
ignore errors
# 忽略某些IO错误信息
auth users = rsync_backup
# 指定连接到该模块的用户列表，只有列表里的用户才能连接到模块，用户名和对应密码保存在secrts file中，这里使用的不是系统用户，而是虚拟用户。不设置时，默认所有用户都能连接，但使用的是匿名连接
secrets file = /etc/rsyncd.passwd
#保存auth users用户列表的用户名和密码，每行包含一个username:passwd。由于"strict modes"，默认为true，所以此文件要求非rsync daemon用户不可读写。只有启用了auth users该选项才有效，echo "rsync_backup:123456" > /etc/rsyncd.password  权限:600
read only = false
# 指定该模块是否可读写，即能否上传文件，false表示可读写，true表示可读不可写。所有模块默认不可上传
write only = false
# 指定该模式是否支持下载，设置为true表示客户端不能下载。所有模块默认可下载
list = false
# 客户端请求显示模块列表时，该模块是否显示出来，设置为false则该模块为隐藏模块。默认true
motd file = /var/rsyncd/rsync.motd
# 客户端连接过来显示的消息
pid file = /var/run/rsyncd.pid
# 指定rsync daemon的pid文件
lock file = /var/run/rsync.lock
# 指定锁文件
log file = /var/log/rsyncd.log
# 指定rsync的日志文件，而不把日志发送给syslog
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
# 指定哪些文件不用进行压缩传输

########## 模块配置参数，可以创建多个模块 ###########
[backup]
# 模块ID1
path = /data/backup/hosts
# 指定该模块的路径，该参数必须指定。启动rsync服务前该目录必须存在。rsync请求访问模块本质就是访问该路径。
hosts allow = 172.16.0.0/16
# 指定允许连接到该模块的机器，多个ip用空格隔开或者设置区间
hosts deny = 0.0.0.0/32
# 指定不允许连接到该模块的机器

[mongodb]
# 模块ID2
path = /data/backup/mongodb
hosts allow = 172.16.0.0/16
hosts deny = 0.0.0.0/32

# 创建rsync账户及共享目录并修改目录属主为rsync [root@rsyncBak ~]# useradd -M -s /sbin/nologin rsync
[root@rsyncBak ~]# mkdir /data/backup/{hosts,mongodb} -p
[root@rsyncBak ~]# chown -R rsync /data/backup/{hosts,mongodb}
[root@rsyncBak ~]# ls -l /data/backup/
drwxr-xr-x. 2 rsync root 6 Jul  1 10:35 hosts
drwxr-xr-x. 2 rsync root 6 Jul  1 10:35 mongodb
[root@rsyncBak ~]# ls -ld /data/backup/
drwxr-xr-x. 4 root root 30 Jul  1 10:35 /data/backup/

# 创建rsync虚拟账户名和密码,并赋予密码文件600权限
[root@rsyncBak ~]# echo "rsync_backup:123456" > /etc/rsyncd.passwd
[root@rsyncBak ~]# chmod 600 /etc/rsyncd.passwd
[root@rsyncBak ~]# ls -l /etc/rsyncd.passwd
-rw-------. 1 root root 20 Jun 30 12:25 /etc/rsyncd.passwd

# 启动rsync
[root@rsyncBak ~]# systemctl start rsyncd
[root@rsyncBak ~]# systemctl enable rsyncd
[root@rsyncBak ~]# netstat -ntpul | grep rsync
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      2665/rsync
tcp6       0      0 :::873                  :::*                    LISTEN      2665/rsync

注意：每次修改配置文件rsyncd.conf后，都需要执行 systemctl restart rsyncd

[root@Server-01 ~]#/data/scripts/backup.sh
#!/bin/bash
#
# 备份解决方案rsync发送端打包脚本

Path=/data/backup
backup_Server=172.16.70.37
local_IP=`ifconfig ens33|awk -F"[ :]+" ‘NR==2{print $3}‘`
Dir=${local_IP}_$(date +%F)

mkdir -p $Path/$Dir
[ -d /data/logServer01 ] && cp -rp /data/logServer01 $Path/$Dir/
[ -d /data/mongodbServer01 ] && cp -rp /data/mongodbServer01 $Path/$Dir/
cd $Path

tar -zcf $Path/${Dir}.tar.gz $Dir

rm -rf $Path/$Dir
# 创建md5sum验证信息
/usr/bin/md5sum $Path/${Dir}.tar.gz > $Path/md5sum_${local_IP}.txt

# 推送打包的文件到备份服务器
rsync -az $Path/ rsync_backup@${backup_Server}::backup --password-file=/etc/rsyncd.passwd

[ $? -eq 0 ] && echo "推送打包文件发送成功." || echo "推送打包文件发送失败.

# 找出超过7天的备份并删除
find $Path/ -name "${local_IP}*" -type f -mtime +7 | xargs rm -rf

# 测试运行同步脚本
[root@Server-01 ~]# bash /data/scripts/backup.sh
推送打包文件发送成功.

# 将脚本挂定时任务
00 04 * * *　　root /bin/bash /server/scripts/backup.sh >/dev/null 2>&1

[root@rsyncBak ~]# cat /data/scripts/rsync_Server.sh
#!/bin/bash
#
# 备份解决方案rsync接收端检查脚本

. /etc/init.d/functions
Path=/data/backup
fileName="md5sum.txt"
# 一共有几台客户端在推送数据
rsync_ClientNum=2

if [ `find $Path/ -type f -name "md5sum*" | wc -l` -eq $rsync_ClientNum ];then
    for filepath in `find $Path/ -type f -name "md5sum*"`
    do
        /usr/bin/md5sum -c $filepath
        if [ $? -eq 0 ];then
            action "${filepath}备份正常！" /bin/true
            rm -rf $filepath
        else
            action "${filepath}备份异常！" /bin/false
            echo "${filepath}备份异常！" | mail -s "$(date +%F)备份检查告警" xxxxxxxx@qq.com
        fi
    done
else
    echo “Rsync客户端推送不完整！”
    echo "Rsync推送不完整" | mail -s "$(date +%F)备份推送告警" xxxxxxxxx@qq.com
fi

# 找出超过180天的不是周1的备份文件并删除
find $Path/ ! -name "*_2.tar.gz" -mtime +180 -type f | xargs rm -rf


# 测试运行同步检查脚本
[root@rsyncBak ~]# bash /data/scripts/rsync_Server.sh
/data/backup/172.16.70.181_2021-07-01.tar.gz: OK
/data/backup/md5sum_172.16.70.181.txt备份正常！            [  OK  ]
/data/backup/172.16.70.182_2021-07-01.tar.gz: OK
/data/backup/md5sum_172.16.70.182.txt备份正常！            [  OK  ]

# 将脚本挂定时任务
00 06 * * * root /bin/bash /data/scripts/rsync_Server.sh >/dev/null 2>&1

# 查看服务器内核是否支持inotify，出现下面的内容，说明服务器内核支持inotify。
[root@rsyncBak ~]# ls -l /proc/sys/fs/inotify/
total 0
-rw-r--r--. 1 root root 0 Jun 30 16:12 max_queued_events
-rw-r--r--. 1 root root 0 Jun 30 16:12 max_user_instances
-rw-r--r--. 1 root root 0 Jun 30 16:12 max_user_watches


# 安装inotify软件
[root@Server-01 ~]# yum install -y inotify-tools
[root@Server-01 ~]# rpm -qa | grep inotify
inotify-tools-3.14-9.el7.x86_64
[root@Server-01 ~]# rpm -ql inotify-tools-3.14-9.el7.x86_64
/usr/bin/inotifywait　　　　# 在被监控的文件或目录上等待特定文件系统事件（open close delete等）发生，执行后处于阻塞状态，适合在shell脚本中使用
/usr/bin/inotifywatch　　　 # 收集被监控的文件系统使用的统计数据,指文件系统事件发生的次数统计。

#命令 man手册说明
    # man inotifywait
    inotifywait - wait for changes to files using inotify  使用inotify进行监控，等待产生变化的文件信息

    # man inotifywatch
    inotifywatch - gather filesystem access statistics using inotify  使用inotify进行监控，收集文件系统访问统计佶息


# 编写脚本实现inotify与rsync相结合
[root@Server-01 ~]# cat /data/scripts/inotify.sh
#!/bin/bash
# 实时检测/data/backup目录内文件是否有变化，如有则同步到172.16.70.37的mongodb模块
#
Path=‘/data‘
# 排查/data目录下以".sh"文件，不需同步
excludefile=‘*.sh‘
backup_Server=172.16.70.37

/usr/bin/inotifywait -mrq --format ‘%w%f‘ -e create,close_write,delete $Path  | while read line
do
    if [ -f $line ];then
        rsync -az $line --delete --exclude=$excludefile rsync_backup@$backup_Server::mongodb --password-file=/etc/rsyncd.passwd
    else
        cd $Path &&        rsync -az ./ --delete --exclude=$excludefile rsync_backup@$backup_Server::mongodb --password-file=/etc/rsyncd.passwd
    fi

done

# 后台运行实时同步脚本
[root@Server-01 ~]# bash /data/scripts/inotify.sh &
[1] 2895

# 创建测试文件
[root@Server-01 ~]# touch  /data/db{1..3} /data/{4..6}.sh
[root@Server-01 ~]# ls -l /data/
-rw-r--r--  1 root root   0 Jul  1 17:24 4.sh
-rw-r--r--  1 root root   0 Jul  1 17:24 5.sh
-rw-r--r--  1 root root   0 Jul  1 17:24 6.sh
-rw-r--r--  1 root root   0 Jul  1 17:24 db1
-rw-r--r--  1 root root   0 Jul  1 17:24 db2
-rw-r--r--  1 root root   0 Jul  1 17:24 db3

# 检查测试文件是否按要求同步
[root@rsyncBak ~]# ls -l /data/backup/mongodb/
total 0
-rw-r--r--. 1 rsync rsync 0 Jul  1 17:24 db1
-rw-r--r--. 1 rsync rsync 0 Jul  1 17:24 db2
-rw-r--r--. 1 rsync rsync 0 Jul  1 17:24 db3

# 查看后台运行的程序
[root@Server-01 ~]# jobs
[1]+  Running                 bash /data/scripts/inotify.sh &

# 进程的前台和后台的运行方法：
　fg -- 前台
　bg -- 后台