环境准备

rsync概述

rsync作用：

数据备份，数据同步

为什么使用rsync不用scp

1.scp是基于ssh协议的命令，不是一个服务

2.scp每次都基于全量拷贝，rsync支持增量拷贝

rsync 相当于 cp rm scp tar

备份类型

rsync只支持全量备份和增量备份

• 全量备份
  • 将数据全部备份出来
• 增量备份
  • 基于上一次备份，新增部分的数据备份出来
• 差异备份
  • 基于上一次全量备份，所有新增部分的数据备份出来

rsync传输模式，工作模式

注意：rsync拷贝目录时，加/和不加/是有区别的
例↓
/etc/ ：将etc目录下的所有文件拷贝过去，不包括目录本身

/etc ：将etc目录本身和目录下的所有文件一并拷贝过去

模式一：本地模式（local）

# 类似于cp命令：可以拷贝本地的文件目录等...
rsync [选项] 源文件.. 目标路径

## 当需要拷贝比较大的目录，或者文件比较多的目录，建议使用rsync

模式二：远程模式（remote）

# 类似于scp命令：基于ssh协议，会受到ssh协议的限制
# 语法：
Access via remote shell:
    Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
    Push: rsync [OPTION...] SRC... [USER@]HOST:DEST

拉：rsync [选项] [用户@]主机IP:远端文件 本机目录
推：rsync [选项] 本机文件 [用户@]主机IP:目标路径

如果不加 用户@ 默认以当前系统登录的用户为用户名

模式三：守护进程模式（daemon）

# 将rsync当成是一个服务启动起来
优势:
1.不受到ssh协议影响
2.不需要知道系统用户的密码

# 语法：
Access via rsync daemon:
    Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
    Push: rsync [OPTION...] SRC... [USER@]HOST::DEST

拉：rsync [选项..] [用户名@]主机IP::配置文件中的模块名 本机目录
推：rsync [选项..] 本机文件 [用户名@]主机IP::配置文件中的模块名

rsync官网地址：rsync (samba.org)

rsync监听端口：873

rsync运行架构：C/S Client/Server

架构类型

C/S = Client/Server = 客户端/服务端

B/S = Browser/Server = 浏览器/服务端

rsync服务端的作用：存储备份数据的

企业中为啥使用守护进程模式

1.远程模式和scp差不多，基于ssh协议

2..远程模式需要知道系统的用户名和密码

3.守护进程不需要ssh协议，服务启动后，自带端口

4.守护进程可以设置匿名用户，不需要使用系统用户(更加安全)

rsync选项

-a：归档模式传输, 等于-tropgDl
==============================
-t：time 保持文件的时间信息
-r：拷贝目录时，递归拷贝
-o：owner 保持文件的属主信息
-g：group 保持文件的属组信息
-p：perm 保持文件的权限信息
-D：device 保持设备文件的信息
-l：link 保留软链接
==============================
-v：显示同步过程
-z：压缩，提高传输效率
-P：显示进度
-L：保留软链接指向的目标文件
--exclude=PATTERN 指定排除不需要传输的文件模式
--exclude-from=file 指定排除文件
--bwlimit=1 限速传输
--partial 断点续传
--delete 保存数据的同步 相当于rm
--password-file= 指定密码文件
--potr 新端口号  ：如果服务端改了端口 那么客户端传输数据时要 加上这个指令

服务端操作

# 1.安装rsync
[root@backup ~]# yum install -y rsync

# 2.配置
[root@backup ~]# vim /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to backup!
path = /backup

## 配置文件详情注释↓
uid = rsync        # 指定服务的用户
gid = rsync        # 指定服务的用户组
port = 873         # 指定该服务监听的端口（端口的范围：1~65535）
fake super = yes   # 不以root身份运行,传输数据时不使用系统用户,使用匿名虚拟用户
use chroot = no    # 将传输内容禁锢在指定传输的目录下，不允许获取到root权限
max connections = 200  # 指定最大连接数，最多能有多少个客户端跟服务端的873端口建立连接
timeout = 600   # 指定超时时间：传输数据时如果网络波动了 超过600秒没完成任务 就断开连接
                # 超出最大连接客户时 等待的客户也是超过600秒后就断开连接
ignore errors      # 忽略错误
read only = false  # 只读 = false ：不只读  可读可写
list = false       # 不允许查看模块信息,时间传输时,客户只能看到模块名,看不到文件目录路径
auth users = rsync_backup          # 指定匿名虚拟用户
secrets file = /etc/rsync.passwd   # 指定匿名虚拟用户的密码文件
log file = /var/log/rsyncd.log     # 指定日志文件存放的位置
#####################################
[backup]           # 指定模块名
comment = welcome to oldboyedu backup!  # 指定模块的描述信息
path = /backup     # 指定备份的目录

# 3.创建rsync系统用户
[root@backup ~]# useradd rsync -s /sbin/nologin -M

# 4.创建服务端的密码文件
[root@backup ~]# echo 'rsync_backup:123' > /etc/rsync.passwd

# 5.修改密码文件的权限为 600
[root@backup ~]# chmod 600 /etc/rsync.passwd
## 注：规定600 只能由这个文件的属主 也就是root用户看到密码

# 6.创建备份目录
[root@backup ~]# mkdir /backup

# 7.修改备份目录的属组和属主
[root@backup ~]# chown rsync:rsync /backup/

# 8.启动rsync服务并加入开机自启
[root@backup ~]# systemctl start rsyncd
[root@backup ~]# systemctl enable rsyncd

# 9.检查服务进程
[root@backup ~]# ps -ef | grep [r]sync
root       1195      1  0 18:14 ?        00:00:00 /usr/bin/rsync --daemon --no-detach

# 10.检查服务端口
[root@backup ~]# netstat -lntup|grep 873
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      1195/rsync          
tcp6       0      0 :::873                  :::*                    LISTEN      1195/rsync          

客户端操作

# 推拉语法：
推：rsync [option..] 原文件 [用户名@]主机IP::模块名
rsync -avz /etc/passwd rsync_backup@172.16.1.41::backup

拉：rsync [选项..] [用户名@]主机IP::配置文件中的模块名 本机目录
rsync -avz rsync_backup@172.16.1.41::backup /etc/passwd

## 安装
[root@web01 ~]# yum install -y rsync

### 客户端免密码传输的方法：
## 方法一：客户端创建密码文件
# 1.客户端上的密码文件，只需要写密码，不需要写用户
[root@web01 ~]# echo '123' > /etc/rsyncd.pass

# 2.客户端上的密码文件也必须是600权限
[root@web01 ~]# chmod 600 /etc/rsyncd.pass

# 3.推拉数据时加上 --password-file=密码文件 指定密码文件
[root@web01 ~]# rsync -avz 1 rsync_backup@172.16.1.41::backup --password-file=/etc/rsyncd.pass
sending incremental file list
1/

sent 59 bytes  received 28 bytes  58.00 bytes/sec
total size is 0  speedup is 0.00

## 方法二：将密码写入环境变量免交互输入密码
[root@web01 ~]# vim /etc/profile.d/rsync.sh
export RSYNC_PASSWORD=123

# 生效环境变量
[root@web01 ~]# source /etc/profile

# 测试
[root@web01 ~]# rsync -avz 3 rsync_backup@172.16.1.41::backup
sending incremental file list
3/

sent 59 bytes  received 28 bytes  58.00 bytes/sec
total size is 0  speedup is 0.00

### 报错案例
# 1.用户密码认证失败
[root@web01 ~]# rsync -avz /etc/passwd rsync_backup@172.16.1.41::backup
Password:
@ERROR: auth failed on module backup
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
错误原因：
    1.用户输入错误
    2.密码输入错误
    3.密码文件的权限不是600

# 2，模块名错误
[root@web01 ~]# rsync -avz /etc/passwd rsync_backup@172.16.1.41::bak
@ERROR: Unknown module 'bak'
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]

# 3，无法和172.16.1.41rsync服务建立连接
[root@web01 ~]# rsync -avz /etc/passwd rsync_backup@172.16.1.41::backup
rsync: failed to connect to 172.16.1.41 (172.16.1.41): No route to host (113)
rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2]
错误原因：
    1.防火墙
    2.selinux
    3.服务没启动
    4.服务的端口改了
## 连接问题检验方法
# 检验网络通不通
ping baidu.com
# 检验通信是否有问题
ping 172.16.1.41
# 检验端口通不通

# 4密码文件权限错误（客户端的密码文件权限也必须是600，否则报错）
[root@web01 ~]# rsync -avz /etc/shadow rsync_backup@172.16.1.41::backup --password-file=/etc/rsyncd.pass
ERROR: password file must not be other-accessible
rsync error: syntax or usage error (code 1) at authenticate.c(196) [sender=3.1.2]

rsync结合inotify实时同步

如果只是做备份，不需要实时备份

定时任务最小单位是分钟级别 无法精确到秒

数据需要实时同步该如何解决？

inotify概述

inotify其实是一个监控命令，监控一个文件或目录的状态

作用：为了保证数据的一致性

# 1.安装inotify（客户端安装即可）
yum install -y inotify-tools

# 2.选项
-m 持续监控
-r 递归
-q 静默，仅打印时间信息

--timefmt 指定输出时间格式

--format 指定事件输出格式 # 格式内容如下
%Xe 事件
%w 目录
%f 文件

-e 指定监控的事件 # 事件类型如下
access 访问
modify 内容修改
attrib 属性修改
close_write 修改真实文件内容
open 打开
create 创建
delete 删除
umount 卸载

# 3.案例：监控测试  监控该目录里被指定的事件
[root@web01 ~]# /usr/bin/inotifywait -mrq --format '%Xe %w %f' -e create,modify,delete,attrib,close_write /client_backup
CREATE /client_backup/ 1.txt
ATTRIB /client_backup/ 1.txt
CLOSE_WRITEXCLOSE /client_backup/ 1.txt
## 往这个文件例创建了一个1.txt文件时触发了三个指定的动作 创建 属性修改 修改真实文件内容

# 4.编写脚本
#!/bin/bash
dir=/client_backup/
export RSYNC_PASSWORD=123
inotifywait -mrq --format '%w %f' -e create,delete,attrib,close_write $dir|while read line;do
       rsync -az --delete $dir rsync_backup@172.16.1.41::backup
done &
##  | 左边的内容每输出一次内容就交给while循环一次 最后的 & 是将脚本放在后台执行

# 5.测试同步
## 客户端
[root@web01 ~]# sh rsync_inotify.sh 
[root@web01 ~]# touch /client_backup/3.xtxt

## 服务端    # watch ls -l ：实时监控
[root@backup ~]# watch ls -l /backup/
-rw-r--r-- 1 rsync rsync   0 May 17 15:04 3.txt