月份：2018年6月

rsync是一个远程数据同步工具,可以快速同步多台主机的文件,且只同步有差异的部分.非常强大的工具

实战环境:

• 服务端:192.168.10.89
• 客户端:192.168.10.103

rsync不需要安装,默认就自带.

关于rsync的命令想法,可以参考其他笔记.

note: 以下教程都是讲述客户端从远程服务器同步数据到本地.类似于下载行为. 如果需要将本地的文件同步到远程服务器.有点类似于上传行为.则需要改变命令.

下列命令表示了上传和下载的使用区别.

note:在使用rsyn同步前必须要千万小心.因为如果命令搞反.可能会出现意外的严重后果.例如将对方的文件同步到本地数据目录

1.下列的命令将对方(192.168.10.89)的/var/www/abc目录同步到本地的/root/rsync目录下:

rsync -avz --progress -e ssh [email protected]:/var/www/abc /root/rsync

2.下列命令表示将本地的/tmp/backups目录同步到对方(192.168.10.89)的/var/www/abc目录下

rsync -avz --progress /tmp/backups -e ssh [email protected]:/var/www/abc

3.另外.如果远程服务器的ssh不是默认22端口.则需要改成:

rsync -avz --progress /root/rsync -e "ssh -p 端口 " [email protected]:/var/www/abc

Rync的使用方法介绍:

一、以服务端的方式启动rsync进程

1.编辑/etc/rsyncd.conf配置文件——-这个文件默认没有,需要自己写入

vim /etc/rsyncd.conf
#全局参数.所有模块生效配置#
uid = nobody
gid = nobody
use chroot = no
max connections = 4
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.pid
log file = /var/log/rsyncd.log
#模块参数.一个模块代表一个路径#
[www]
path = /var/www/abc/   #路径目录,注意必须是一个/结尾的目录
ignore errors          #忽略错误信息
read only = yes       #服务端只读,客户端只能和服务端同步,不能上传文件
list = no          #是否允许客户端列出服务端此路径下的文件
hosts allow = 192.168.10.0/24  #允许哪个网络上的客户端同步
auth users = backup    #认证用户名
secrets file = /etc/rsync_server.pas #指定一个密码文件路径.此文件内容为username:password. 而且此文件必须和启动rsync的用户是同一个用户.且权限为600

2.编辑密码文件:

[root@localhost ~]# cat /etc/rsync_server.pas
backup:jesse
[root@localhost ~]# ll /etc/rsync_server.pas
-rw------- 1 root root 13 Dec 27 16:46 /etc/rsync_server.pas

Note:此文件必须为600权限.且和rsync进程的用户相同.比如如果是root启动的rsync服务.则此文件属主也必须是root

3.启动rsync服务,以daemon方式启动

rsync --daemon

rsync –daemon默认监控在873端口

默认监控在873端口:
[root@localhost ~]# netstat -tulnp | grep rsync
tcp        0      0 0.0.0.0:873                 0.0.0.0:*                   LISTEN      2034/rsync
tcp        0      0 :::873                      :::*                        LISTEN      2034/rsync

4.在/var/www/abc目录下写入一个测试文件夹

[root@localhost ~]# cat /var/www/abc/rsync.test
haha
this is for test rsync
the nginx02 is rsync server.the nginx 01 (ip:192.168.10.103) is a client
I am going to see whether this file will be sync to the client or not!

5.客户端同步文件 先定义密码.改成600权限

[root@localhost ~]# cat /etc/rsync_server.pas
jesse
[root@localhost ~]# ll /etc/rsync_server.pas
-rw------- 1 root root 6 Dec 27 16:47 /etc/rsync_server.pas

Note:我在这里踩到一个大坑.客户端的密码文件只需要包含密码.不能像服务端一样指定username:password.不然会提示验证失败

6.执行rsync命令

/usr/bin/rsync -avz  --progress [email protected]::www /var/www/abc/ --password-file=/etc/rsync_server.pas

-a ----保持文件权限
-v ----详细显示
-z -----启用压缩
--progress --显示备份过程
backup@ ----表示用backup用户认证
::www  --------注意这里有2个冒号.表示同步服务器上的www模块
/var/www/abc ---表示同步到本地这个目录下
--password-file ---表示用这个文件内的密码去认证

可是遇到和上面一样的坑:

[root@localhost ~]# /usr/bin/rsync -avz  --progress [email protected]::www /var/www/abc/ --password-file=/etc/rsync_server.pas
@ERROR: auth failed on module www

这个坑,至少坑了我5个小时.反复的确认selinux是否关闭,配置文件是否错误,密码文件和密码文件权限等最后才发现,原来配置文件的配置语句不能用注释

注释内容只能单独一行存在.修改配置文件:

[root@localhost ~]# vim /etc/rsyncd.conf
#全局参数.所有模块生效配置#
uid = nobody
gid = nobody
use chroot = no
max connections = 4
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.pid
log file = /var/log/rsyncd.log
#模块参数.一个模块代表一个路径#
[www]
path = /var/www/abc/
ignore errors
read only = yes
list = no
hosts allow = 192.168.10.0/24
auth users = backup
secrets file = /etc/rsync.secrets

客户端重新执行命令:

[root@localhost ~]# /usr/bin/rsync -avz  --progress [email protected]::www /var/www/abc/ --password-file=/etc/rsync_server.pas
receiving incremental file list
./
index.html
          91 100%   88.87kB/s    0:00:00 (xfer#1, to-check=2/4)
rsync.test
         173 100%  168.95kB/s    0:00:00 (xfer#2, to-check=1/4)
test.jpg
      185883 100%   25.32MB/s    0:00:00 (xfer#3, to-check=0/4)
sent 115 bytes  received 186303 bytes  372836.00 bytes/sec
total size is 186147  speedup is 1.00
[root@localhost ~]#
可以看到同步了rsync.test文件过来了.另外其他2个文件也一并同步过来

演示: 服务端文件名不修改.往文件内新增文件.观察rsync是否能实行增量同步

1.在rsync服务端内的/var/www/abc/index.html文件新增一行内容:

[root@rabbitmqnode0 abc]# vim index.html
hello.This is nginx server for www.abc.com
hello world!
add a new line to test rsync   #新增一行

2.客户端在原有同步后的基础上再次执行命令:可以看见.只同步了Index.html文件.其他文件并没有复制

[root@rabbitmqnode1 ~]# /usr/bin/rsync -avz  --progress [email protected]::www /var/www/abc/ --password-file=/etc/rsync_server.pas
receiving incremental file list
./
index.html
          85 100%   83.01kB/s    0:00:00 (xfer#1, to-check=1/3)
sent 83 bytes  received 251 bytes  668.00 bytes/sec
total size is 106558  speedup is 319.04

查看文件:

[root@rabbitmqnode1 ~]# cat /var/www/abc/index.html
hello.This is nginx server for www.abc.com
hello world!
add a new line to test rsync

可见.即便文件名一致.只要文件内容有变化,仍然会同步到客户端.

二、以ssh方式同步文件

1.关掉服务端的rsync进程

ps -ef | grep rsync
root       2014      1  0 21:28 ?        00:00:00 rsync --daemon
root       6334   2588  0 22:37 pts/1    00:00:00 grep rsync
[root@localhost ~]# kill -9 2014
[root@localhost ~]# rm -rf /var/run/rsyncd.pid

2.客户端直接执行命令:

[root@localhost ~]# rsync -avz --progress -e ssh [email protected]:/var/www/abc /root
[email protected]'s password:
receiving incremental file list
abc/
abc/index.html
          91 100%   88.87kB/s    0:00:00 (xfer#1, to-check=2/4)
abc/rsync.test
         173 100%  168.95kB/s    0:00:00 (xfer#2, to-check=1/4)
abc/test.jpg
      185883 100%   25.32MB/s    0:00:00 (xfer#3, to-check=0/4)
sent 72 bytes  received 186254 bytes  53236.00 bytes/sec
total size is 186147  speedup is 1.00
[root@localhost ~]#

-e 表示 使用ssh协议root@ 表示服务器的本地用户(注意,这里是服务器本地真实用户)..这里的用法和普通的scp命令一致

可以看到文件已经同步过来了.且权限保持一致

[root@localhost ~]# ll /root/abc
total 192
-rw-r--r-- 1 root root     91 Dec 26 19:21 index.html
-rw-r--r-- 1 root root    173 Dec 27 15:07 rsync.test
-rw-r--r-- 1 root root 185883 Dec 26 19:21 test.jpg

注意:ssh模式不能像rsync daemon模式那样指定一个密码文件.如果想不输入密码.只能复制本机的公钥到rsync服务端相关用户下.

Note:

1.一般在生产中 在客户端同步的时候还需要加入个 –delete参数.表示如果本机相关目录下有某个文件.而这个文件在服务端上没有.那么就删除.这是为了保持和服务端完全同步

2.一般需要写一个crontab定时任务,每5分钟同步一次

/5 * /usr/bin/rsync -avz –progress [email protected]::www /var/www/abc/ –password-file=/etc/rsync_server.pas > /dev/null 2>&1

Rsync 简介

Rsync 是一款开源的，快速的，多功能的，可实现全量及增量（差异化备份）的本地或远程数据同步备份的优秀工具。

Rsync软件适用于Unix、Linux、Windows等多种操作系统。

1）可使本地和远程两台主机之间的数据快速复制同步镜像，远程备份的功能，这个功能类似ssh带scp命令，但又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。

2）rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，

3）利用rsync还可以实现删除文件和目录的功能。相当于rm

4）rsync相当于scp,cp.rm但是还优于他们每一个命令。

在同步备份数据时，默认情况下rsync通过独特的“quick check” 算法，它仅同步大小或者最后修改时间发生变化的文件或目录，当然也可以是根据权限，属主等属性的变化同步，但需要指定相应的参数，甚至可以实现只同步一个文件里有变化的内容部分，所以可以实现快速的同步备份数据。

• CentOS 5 rsync2.x 比对方法，把所有的文件比对一遍，然后进行同步。

• CentOS 6 rsync3.x 比对方法，一边比对差异，一边对差异的部分进行同步。

Rsync 特性

1）支持拷贝特殊文件如链接文件，设备等。

2）可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。

3）可以做到保持源文件或目录的权限，时间，软硬链接，属主，组等属性均不改变 -p.

4）可以实现增量同步，即只同步发生变化的数据，因此数据传输的效率很高，tar -N.

5）可以使用rcp,rsh,ssh,等方式来配合传输文件（rsync本身不对数据加密）

6）可以通过soket（进程方式）传输文件和数据（服务端和客户端）*****

7）支持匿名的或认证的（无需系统用户）的进程模式传输，可实现方便安全的进程数据备份及镜像。

实时同步（解决存储服务器等单点问题）

利用rsync结合inotify的功能做实时的数据同步，根据存储服务器上目录的变化，把变化的数据通过inotify或sersync结合rsync命令，同步到备份服务器，还可以通过drbd方案以及双写的方案实现双机数据同步。

Rsync的工作方式

大致使用三种主要的传输数据的方式。

1）单个主机本地之间的数据传输（此时类似于cp命令的功能）

2）借助rcp,ssh等通道来传输数据（此时类似于scp命令的功能）

3）以守护进程（socket）的方式传输数据（这个是rsync自身的重要功能）

服务端与客户端安装 Rsync

修改主机名

hostname backup
vi /etc/sysconfig/network

安装 rsync 与 依赖

yum -y install rsync xinetd

vi /etc/xinetd.d/rsync

将yes 修改为no IPV6修改为IPV4

rsync 命令同步参数详解

local（本地）模式的命令参数

-v --verbose 详细模式输出，传输时的进度等信息。

-z --compress 传输时进行压缩以提高传输效率,--compress-level=NUM可按级别压缩

重要的命令

-a --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等价于-rtopgDl

-r 对子目录以递归模式，即目录下的所有目录都同样传输，注意是小写的r.

-o 保持文件属性信息

-p 保持文件权限

-g 保持文件属组信息

-P 显示同步的过程及传输时的进度等信息

-D 保持设备文件信息

-l 保持软连接


-avzP 提示：这里的 相当于 -vzrtopgDlP(还多了Dl功能)生产环境常用 

-avz 定时任务就不用输出过程了可以-az

需了解的命令

-e 使用的信道协议，指定替代rsh的shell程序，例如：ssh

--exclude=PATTERN 指定排除不需要传输的文件模式（和tar参数一样）

--exclude=file（文件名所在的目录文件）（和tar参数一样）

--delete 让目标目录SRC和源目录数据DST一致。

注意：/tmp/ rsync如果tmp/ 加上斜线的话就表示只选中斜线后的文件，不包含tmp。

如果不加上斜线 tmp 那么就是包含目录本身和目录之下的文件。

做数据同步容易将带宽占满，导致网站无法访问

rsync scp ftp 都有限速功能

解决：man rsync里面有一个限速的参数。

我之前刚做运维的时候，在备份数据时，没考虑业务低谷时间点，将带宽占满了，导致网站无法正常访问。发现问题之后，我立即停止数据备份，然后man 了一下，才发现rsync有限速参数。

尽量不要在业务高并发的时候做备份，要在业务低谷时间段进行，限速备份。

当然，scp,ftp都有限速的功能。

借助ssh通道在不同主机之间传输数据

man rsyncd.conf

使用-e参数，利用ssh隧道进行文件传输
[root@backup ~]# rsync -avz /etc/hosts -e 'ssh -p 22' [email protected]:/mnt

可以使用ssh key 免密钥登录，然后可以做定时任务。

优化ssh （让连接服务器进行rsync更快）

[root@backup ~]# vim /etc/ssh/sshd_config 

GSSAPIAuthentication no   （把这个的注释去掉，也就是打开）
#GSSAPIAuthentication yes（把这个注释掉，也就是关闭）
UseDNS no (改成no)

以守护进程（socket）的方式传输数据

rsync 命令使用用法

rsync -参数 用户名@同步服务器的IP::rsyncd.conf中那个方括号里的内容（配置文件中的模块名） 本地存放路径。

rsync -avzP [email protected]::nemo /backup

服务器端的配置过程

安装rysnc

yum -y install rsync xinetd

vi /etc/xinetd.d/rsync

将yes 修改为no IPV6修改为IPV4

1、查看rsync安装包

[root@backup ~]# rpm -qa rsync

2、添加rsync服务的用户，管理本地目录

[root@backup ~]# useradd rsync -s /sbin/nologin -M
[root@backup ~]# tail -1 /etc/passwd
rsync:x:501:501::/home/rsync:/sbin/nologin

3、生成rsyncd.conf配置文件

查看 rsyncd.conf

[root@backup backup]# cat /etc/rsyncd.conf 
config_______________start
#15:01 2007-6-5
#rsyncd.conf start##
uid = rsync
gid = rsync
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
[backup]
path = /backup
ignore errors
read only = false
list = false
hosts allow = 172.16.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
#rsync_config____________end

配置rsyncd.conf

[root@backup ~]# vim /etc/rsyncd.conf 
#rsync_config_______________start
#15:01 2018-6-5
#rsyncd.conf start##
uid = rsync #用户远端的命令使用rsync访问共享目录
gid = rsync #用户组
use chroot = no #安全相关
max connections = 200 #最大连接数
timeout = 300 #超时时间（单位/秒）
pid file = /var/run/rsyncd.pid  #（进程号对应的进程号文件）
lock file = /var/run/rsync.lock #锁文件，防止文件不一致
log file = /var/log/rsyncd.log  #日志文件
[backup]  #模块名称
path = /backup  #服务器端提供访问的目录
ignore errors #忽略错误
read only = false #可写
list = false  #不让列表（相当于ls)
hosts allow = 172.16.1.0/24 #允许的网段
hosts deny = 0.0.0.0/32  #拒绝的网段
auth users = rsync_backup #连接的虚拟用户，非系统用户
secrets file = /etc/rsync.password #虚拟用户的账号密码文件
#rsync_config____________end

4、rsyncd.conf的auth users配置账户，远程连接

并根据secrets file参数生成密码文件

法一
echo "rsync_backup:cloudbility" >/etc/rsync.password
cat /etc/rsync.password

法二
[root@backup ~]# vim  /etc/rsync.password
rsync_backup:cloudbility

[root@backup ~]# cat /etc/rsync.password
rsync_backup:cloudbility

5、为密码文件配置权限

chmod 600 /etc/rsync.password
ls -l /etc/rsync.password

6、创建共享的目录并授权rsync服务管理

法一：
[root@backup ~]# mkdir /backup

[root@backup ~]# ls -ld /backup/
drwxr-xr-x 2 root root 4096 1月  16 20:08 /backup/
(如果不修改权限的话，远程访问过来是用rsync但是这个目录的属组和属主都收root 就无法把远方的数据推送过来，没有写权限。)

[root@backup ~]# chown rsync.rsync /backup/
（更改属组和属主）

[root@backup ~]# ls -ld /backup/
drwxr-xr-x 2 rsync rsync 4096 1月  16 20:08 /backup/

法二：
mkdir /backup -p
chown -R rsync.rsync /backup
如果没有/backup目录，就会chdir failed.(失败的)

7、启动rsync服务并检查

[root@backup ~]# rsync --daemon  
开启rsync服务

[root@backup ~]# ps -ef|grep rsync|grep -v grep
root       5116   5100  0 19:14 pts/0    00:00:00 vim /etc/rsyncd.conf
root       5193      1  0 20:05 ?        00:00:00 rsync --daemon
（为什么是root在运行呢？因为远程访问的用户才会使用rsync来使用，上面配置文件有写）

查看运行端口
[root@backup ~]# lsof -i :873
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
rsync   5193 root    3u  IPv4  19935      0t0  TCP *:rsync (LISTEN)
rsync   5193 root    5u  IPv6  19936      0t0  TCP *:rsync (LISTEN)

[root@backup ~]# netstat -lntup|grep 873
tcp        0      0 0.0.0.0:873                 0.0.0.0:*                   LISTEN      5193/rsync          
tcp        0      0 :::873                      :::*                        LISTEN      5193/rsync

8、加入开机自启动

[root@backup ~]# echo "/usr/bin/rsync --damon" >>/etc/rc.local

[root@backup ~]# tail -1 /etc/rc.local
/usr/bin/rsync --damon

排错过程

1. 输出结果

2. 日志 tail /var/log/rsyncd.log

3. 熟练部署过程（原理）

rsync客户端操作方法

1、生成连接服务器的密码文件

法一：
echo "cloudbility" >/etc/rsync.password

法二：
[root@nfs01 ~]# vim /etc/rsync.password

[root@nfs01 ~]# cat /etc/rsync.password
cloudbility

2、为密码文件配置权限

[root@nfs01 ~]# chmod 600 /etc/rsync.password

[root@nfs01 ~]# ll /etc/rsync.password
-rw------- 1 root root 7 1月  16 20:58 /etc/rsync.password

3、同步文件

创建样本

[root@nfs01 ~]# mkdir /backup -p

[root@nfs01 ~]# cd /backup/


[root@nfs01 backup]# touch stu{01..100}

[root@nfs01 backup]# ls
stu001  stu010  stu02   stu029  stu038  stu047  stu056  stu065  stu074  stu083  stu092
stu002  stu011  stu020  stu03   stu039  stu048  stu057  stu066  stu075  stu084  stu093

推送到backup server：

法一：需要密码
[root@nfs01 backup]# rsync -avz /backup/ [email protected]::backup/（模块名）

法二：无需密码
[root@nfs01 backup]# rsync -avz /backup/ [email protected]::backup/（模块名） --password-file=/etc/rsync.password

法三：无需密码
[root@nfs01 backup]# rsync -avz /backup/ rsync://[email protected]/backup/（模块名） --password-file=/etc/rsync.password

从backup server拉取/backup下的文件到本地/backup下。

法一：需要密码
[root@nfs01 backup]# rsync -avz [email protected]::backup（模块名） /backup/ 

法二：免密
[root@nfs01 backup]# rsync -avz [email protected]::backup（模块名） /backup/ --password-file=/etc/rsync.password  

法三：免密
[root@nfs01 backup]# rsync -avz rsync://[email protected]/backup/（模块名） /backup/ --password-file=/etc/rsync.password

提示上述的backup为模块名，不是路径

增加模块

[root@backup backup]# vim /etc/rsyncd.conf
#15:01 2018-6-5
#rsyncd.conf start##
uid = rsync
gid = rsync
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = false
hosts allow = 172.16.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
[backup]
path = /backup
[cloudbility]
path = /cloudbility
##rsync_config____________end

排除同步：

排除推送

排除单个文件：

--exclude=a  （排除a）

[root@nfs01 backup]# rsync -avz --exclude=a /backup/ [email protected]::backup/ --password-file=/etc/rsync.password
sending incremental file list
./bcdefg

排除多个文件：

1)
排除a 和b 
[root@nfs01 backup]# rsync -avz --exclude={a,b} /backup/ [email protected]::backup/ --password-file=/etc/rsync.password
sending incremental file list
./cdefg

2)
排除连续的a-f
[root@nfs01 backup]# rsync -avz --exclude={a..f} /backup/ [email protected]::backup/ --password-file=/etc/rsync.password
sending incremental file list
./g

sent 75 bytes  received 30 bytes  210.00 bytes/sec
total size is 0  speedup is 0.00

1）拉取和推送都可以排除。

2）也可以服务端排除，配置文件里参数。

3）exclude=a b c d

完全同步：无差异同步–delete

[root@nfs01 backup]# rsync -avz --delete /backup/ [email protected]::backup/ --password-file=/etc/rsync.password
sending incremental file list

abcdef

rsync三种工作模式

1）local(本地模式)：（cd,rm）

2）通道模式：
 rsync -avzP -e 'ssh -p 22' /etc [email protected]:/tmp/
 一般配合ssh key免密钥传输，结合定时任务。

 3）daemon模式
内网不需要加密，加密性能有损失。

如果要外网的话使用vpn(PPTP。openVPN，ipsec)

rsync服务模式故障常见问题解答

1）小 BUG

[root@backup backup]# vim /etc/rsyncd.conf
#hosts deny = 0.0.0.0/32
把 hosts deny（拒绝的ip段）注释掉，因为当

hosts allow = 172.16.1.0/24
#hosts deny = 0.0.0.0/32
这两个在一起的时候，发现10段的ip 也能把数据推送到backup server。所以必须注释掉
hosts deny。

提示：更改配置文件之后要重启服务，因为每次Linux都是把配置文件放到内存。
先杀死进程，然后检查
[root@backup backup]# pkill rsync
[root@backup backup]# lsof -i :873

重启再检查看看
[root@backup backup]# rsync --daemon
[root@backup backup]# lsof -i :873
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
rsync   7718 root    4u  IPv4  33811      0t0  TCP *:rsync (LISTEN)
rsync   7718 root    5u  IPv6  33812      0t0  TCP *:rsync (LISTEN)

2）服务端没有这个目录

提示报错信息

[root@nfs01 backup]# rsync -avz /backup/ [email protected]::backup/ --password-file=/etc/rsync.password 
@ERROR: chdir failed


解决方法：
服务端创建目录
[root@backup backup]# mkdir /backup
[root@backup backup]# ll -d /backup/
drwxr-xr-x 2 root root 4096 Jan 17 15:52 /backup/

[root@backup backup]# chown -R rsync.rsync /backup/ 
（/etc/rsyncd.conf配置文件里的uid和gid）

3）权限不够

提示报错信息

[root@nfs01 backup]# rsync -avz /backup/ [email protected]::backup/ --password-file=/etc/rsync.password 
sending incremental file list
./
rsync: failed to set times on "." (in backup): Operation not permitted (1)
stu1
stu10
stu2
stu3
stu4
stu5
stu6
stu7
stu8
stu9
rsync: mkstemp ".stu1.oraZ3Y" (in backup) failed: Permission denied (13)
rsync: mkstemp ".stu10.n1jKm7" (in backup) failed: Permission denied (13)
rsync: mkstemp ".stu2.dLFwFf" (in backup) failed: Permission denied (13)
rsync: mkstemp ".stu3.LKKjYn" (in backup) failed: Permission denied (13)
rsync: mkstemp ".stu4.nSI7gw" (in backup) failed: Permission denied (13)
rsync: mkstemp ".stu5.p4CWzE" (in backup) failed: Permission denied (13)
rsync: mkstemp ".stu6.HE5OSM" (in backup) failed: Permission denied (13)
rsync: mkstemp ".stu7.jGRIbV" (in backup) failed: Permission denied (13)
rsync: mkstemp ".stu8.p4cDu3" (in backup) failed: Permission denied (13)
rsync: mkstemp ".stu9.EZbyNb" (in backup) failed: Permission denied (13)

sent 467 bytes  received 201 bytes  1336.00 bytes/sec
total size is 0  speedup is 0.00
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1039) [sender=3.0.6]

解决方法
[root@backup backup]# ll -d /backup/
drwxr-xr-x 2 root root 4096 Jan 17 15:52 /backup/

[root@backup backup]# chown -R rsync.rsync /backup/ 
（/etc/rsyncd.conf配置文件里的uid和gid）

4）没有创建uid

提示错误信息

[root@nfs01 backup]# rsync -avz /backup/ [email protected]::backup/ --password-file=/etc/rsync.password 
@ERROR: invalid uid rsync


解决方法：
[root@backup backup]# useradd rsync -s /sbin/nologin -M

5）客户端/etc/rsync.password 配置文件里的密码错误（注意空格）

[root@nfs01 backup]# rsync -avz /backup/ [email protected]::backup/ --password-file=/etc/rsync.password 
@ERROR: auth failed on module backup

解决：
查看服务端的日志配置文件的报错信息。
[root@backup backup]# cat /var/log/rsyncd.log  
2017/01/17 16:04:36 [7813] auth failed on module backup from unknown (172.16.1.31): password mismatch

提示我们密码错误：
查看服务器端的配置文件和密码，然后，再看客户端的。
[root@backup backup]# vim /etc/rsync.password 
rsync_backup:cloudbility

6）连接被拒绝

提示信息

[root@nfs01 backup]# rsync -avz /backup/ [email protected]::cloudbility/
rsync: failed to connect to 172.16.1.41: Connection refused (111)

解决，
1)服务端防火墙是否关闭iptables

2)873端口是否开放。
重启rsync服务。
[root@backup cloudbility]# rsync --daemon
[root@backup cloudbility]# lsof -i :873

rsync守护进程(daemon)服务传输数据排错思路：

rsync服务端排错思路

1）查看rsync服务配置文件路径是否正确，正确的默认路径为：/etc/rsyncd.conf

2）查看配置文件里的host allow.host deny允许的网段是否允许客户端访问的IP网段。

3）查看配置文件中path参数里的路径是否存在，权限是否正确（正常应为位置文件中的UID参数对应的属主和组）

4）查看rsync服务是否启动，查看命令为：ps -ef|grep rsync. 端口是否存在 netstat -lnt|grep 873.

5）查看iptables防火墙和SELinux是否开启允许rsync服务通过，也可以考虑关闭。

6）查看服务端rsync配置的密码文件权限是否是600；密码文件格式是否正确。 正确格式为 用户名：密码 。文件路径和配置文件里的secrect files参数对应。

7）如果是推送数据，要查看下，配置rsyncd.conf文件中用户是否对模块下的目录有可读写权限

rsync客户端排除思路

1）查看客户端rsync配置的密码文件是否为600权限，密码文件格式是否正确。
注意，仅西药有密码，并且和服务端的密码一致。

2）用telnet连接rsync服务器IP地址873端口，查看服务是否启动
（可测试服务端防火墙是都阻挡）。 telnet 10.0.0.41 873

3）客户端执行命令时rsync -avzP [email protected]::cloudbility/test/test --password-file=/etc/rsync.password
此命令的细节要记清楚，尤其是10.0.0.41::cloudbility/test/处的双冒号及随其后的cloudbility
的模块名称；

rsync优缺点：

rsync优点：

1）增量备份，支持socket（daemon守护进程），集中备份（支持推拉，都是以客户端为参照物）；

2）远程SEHLL通道模式还可以加密（SSH）传输，socket（daemon守护进程）需要加密传输，
可以利用VPN服务或ipsec服务；

rsync缺点：

1）大量小文件同步的时候，比对时间较长，有的时候，rsync进程可能会停止。

2）同步大文件，10G这样的大文件有时也会出现问题，中断。未完整同步之前,是隐藏文件.
可以通过续传等参数实现传输，

一次性远程拷贝可以用scp;

（完）

今天磁盘满了，打算将占磁盘大的文件给移走，再采用软连接的。同步的时候出现了一点小问题。

第一天：

先将要同步的文件给同步了一遍。

执行命令

rsync -auv /data/mysql/game /data1/mysql
rsync -auv /data/mysql/integral /data1/mysql
rsync -auv /data/mysql/interact /data1/mysql
rsync -auv /data/mysql/match /data1/mysql
rsync -auv /data/mysql/sns_admin /data1/mysql
rsync -auv /data/mysql/stock /data1/mysq

第二天：

又同步了一遍

rsync -auv /data/mysql/game /data1/mysql/game
rsync -auv /data/mysql/integral /data1/mysql/integral
rsync -auv /data/mysql/interact /data1/mysql/interact
rsync -auv /data/mysql/match /data1/mysql/match
rsync -auv /data/mysql/sns_admin /data1/mysql/sns_admin 
rsync -auv /data/mysql/stock /data1/mysql/stock

快要同步完的时候，检查文件大小，发现文件大了一倍。

原来第二步命令将/data/mysql/game文件 放在/data1/mysql/game文件下了。

这也不算是rsync的坑吧

应该这样这行

rsync -auv /data/mysql/game/ /data1/mysql/game/
rsync -auv /data/mysql/integral/ /data1/mysql/integral/
rsync -auv /data/mysql/interact/ /data1/mysql/interact/
rsync -auv /data/mysql/match/ /data1/mysql/match/
rsync -auv /data/mysql/sns_admin/ /data1/mysql/sns_admin/ 
rsync -auv /data/mysql/stock/ /data1/mysql/stock/

或者执行和昨天一样的命令

            rsync -auv /data/mysql/game         /data1/mysql
            rsync -auv /data/mysql/integral    /data1/mysql
            rsync -auv /data/mysql/interact     /data1/mysql
            rsync -auv /data/mysql/match        /data1/mysql
            rsync -auv /data/mysql/sns_admin    /data1/mysql
            rsync -auv /data/mysql/stock        /data1/mysq 

就可以了。

小结：

1、使用rsync同步，只要之前同步的内容和现在同步的内容有一点改变，就会重新全量同步，因此，同步的时候尽量找长时间没有变化的大文件
2、rsync不会追加文件