rsync 工具介绍及配置

rsync是类unix系统下的数据镜像备份工具，从软件的命名上就可以看出来了——remote sync。它的特性如下：

　　可以镜像保存整个目录树和文件系统。

　　可以很容易做到保持原来文件的权限、时间、软硬链接等等。

　　无须特殊权限即可安装。

　　优化的流程，文件传输效率高。

　　可以使用rcp、ssh等方式来传输文件，当然也可以通过直接的socket连接。

　　支持匿名传输，以方便进行网站镜象。

　　软件下载

　　rsync的主页地址为：

rsync配置文件配置格式

name = value                

rsync配置参数：

[Global parameters]

motd file：  指定一个关于网站的信息和法律公告信息的文件

pid file：  rsync daemon的进程IP文件

port：  rsync daemon 的缺省端口号：873，当rsync运行在xinetd模式下则端口被忽略

address： rsync daemon监听的IP，当rsync运行在xinetd模式下则IP被忽略

socket：rsync daemon的socket文件

[module parameters]

comment：模块的描述性说明

path：指定同步的文件目录

use chroot：如果"use chroot"指定为true，那么rsync在传输文件以前首先chroot到path参数所指定的目  录下。这样做的原因是实现额外的安全防护，但是缺点是需要以roots权限，并且不能备份指向外部的符号连接所指向的目录文件。默认情况下chroot值为true。

numeric ids

munge symlinks

charset

max connections：指定该模块的最大并发连接数量以保护服务器，超过限制的连接请求将被告知随后再试。默认值是0，也就是没有限制。

log file:指定rsync的日志文件

syslog facility：是否使用系统日志工具。可以有如下选项：

auth, authpriv, cron, daemon, ftp, kern, lpr, mail, news, security, syslog, user, uucp, local0, local1, local2, local3, local4, local5, local6 and local7. The default is daemon.

max verbosity

lock file：指定支持max connections参数的锁文件

read only：该选项设定是否允许客户上载文件。如果为true那么任何上载请求都会失败，如果为false并且服务器目录读写权限允许那么上载是允许的。默认值为true。

write only：该选项设定是否允许客户下载文件。如果为true那么任何下载请求都会失败，如果为false并且服务器目录读写权限允许那么下载是允许的。默认值为true。

list：该选项设定当客户请求可以使用的模块列表时，该模块是否应该被列出。如果设置该选项为false，可以创建隐藏的模块。默认值是true。

uid：指定传送数据的帐号，仅仅用于指定模块。默认是：-2 ，即Nobody 帐号.

gid:指定传送数据的帐号组，仅仅用于指定模块。默认是：-2 ，即Nobody 组.

fake super

filter

exclude：用来指定多个由空格隔开的多个文件或目录(相对路径)，并将其添加到exclude列表中。这等同于在客户端命令中使用--exclude来指定模式，一个模块只能指定一个exclude选项。但是需要注意的一点是该选项有一定的安全性问题，客户很有可能绕过exclude列表，如果希望确保特定的文件不能被访问，那就最好结合uid/gid选项一起使用。

include：用来指定不排除符合要求的文件或目录。这等同于在客户端命令中使用--include来指定模式，结合include和exclude可以定义复杂的exclude/include规则。

exclude from：指定一个包含exclude模式的定义的文件名，服务器从该文件中读取exclude列表定义。

include from：指定一个包含include模式的定义的文件名，服务器从该文件中读取include列表定义。

incoming chmod：

outgoing chmod

auth users：设置连接指定模块的授权用户名。

secrets file：密码认证文件，格式为：username:password

strict modes：该选项指定是否监测密码文件的权限，如果该选项值为true那么密码文件只能被rsync服务器运行身份的用户访问，其他任何用户不可以访问该文件。默认值为true。

hosts allow：该选项指定哪些IP的客户允许连接该模块。客户模式定义可以是以下形式：
单个IP地址，例如：192.167.1.1

整个网段，例如：192.168.1.0/24，也可以是192.168.1.0/255.255.255.0

多个IP或网段需要用空格隔开，“*”则表示所有，默认是允许所有主机连接。

hosts deny：指定不允许连接rsync服务器的机器，可以使用hosts allow的定义方式来进行定义。默认是没有hosts deny定义。

ignore errors：指定rsyncd在判断是否运行传输时的删除操作时忽略server上的IO错误，一般来说rsync在出现IO错误时将将跳过--delete操作，以防止因为暂时的资源不足或其它IO错误导致的严重问题。

ignore nonreadable：指定rysnc服务器完全忽略那些用户没有访问权限的文件。这对于在需要备份的目录中有些文件是不应该被备份者得到的情况是有意义的。

transfer logging：使rsync服务器使用ftp格式的文件来记录下载和上载操作在自己单独的日志中。

log format：通过该选项用户在使用transfer logging可以自己定制日志文件的字段。

#The single-character escapes that are understood are as follows:

#%a the remote IP address

#%b the number of bytes actually transferred

#%B the permission bits of the file (e.g. rwxrwxrwt)

#%c the total size of the block checksums received for the basis file (only when sending)

#%f the filename (long form on sender; no trailing "/")

#%G the gid of the file (decimal) or "DEFAULT"

#%h the remote host name

#%i an itemized list of what is being updated

#%l the length of the file in bytes

#%L the string " -> SYMLINK", " => HARDLINK", or "" (where SYMLINK or HARDLINK is a filename)

#%m the module name

#%M the last-modified time of the file

#%n the filename (short form; trailing "/" on dir)

#%o the operation, which is "send", "recv", or "del." (the latter includes the trailing period)

#%p the process ID of this rsync session

#%P the module path

#%t the current date time

#%u the authenticated username or an empty string

#%U the uid of the file (decimal)

#For a list of what the characters mean that are output by "%i", see the --itemize-changes option in the rsync manpage.

timeout：该选项可以覆盖客户指定的IP超时时间。通过该选项可以确保rsync服务器不会永远等待一个崩溃的客户端。超时单位为秒钟，0表示没有超时定义，这也是默认值。对于匿名rsync服务器来说，一个理想的数字是600。

refuse options：通过该选项可以定义一些不允许客户对该模块使用的命令参数列表。这里必须使用命令全名，而不能是简称。但发生拒绝某个命令的情况时服务器将报告错误信息然后退出。如果要防止使用压缩，应该是："dont compress = *"。

dont compress：指定那些不进行压缩处理再传输的文件，默认值是*.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz

以上为rsync 官方的关于rsync配置文件中的所有配置选项。中文是我自己翻译解释的，有些选项还没翻译解释，主要是因为还没有完全理解透彻官方的英文解释。

rsync的使用方法：

Local:  rsync [OPTION...] SRC... [DEST]

Access via remote shell:

  Pull（拉）: rsync [OPTION...] [USER@]HOST:SRC... [DEST] 

  Push（推）: rsync [OPTION...] SRC... [USER@]HOST:DEST

Access via rsync daemon:

  Pull（拉）: rsync [OPTION...] [USER@]HOST::SRC... [DEST]

        rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]

  Push（推）: rsync [OPTION...] SRC... [USER@]HOST::DEST

        rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

“拉”复制是指从远程主机复制文件到本地主机

“推”复制是指从本地主机复制文件到远程主机

相关命令参数：

rsync参数的具体解释如下：

官方的英文解释：

-v, --verbose 详细模式输出

-q, --quiet 精简输出模式

-c, --checksum 打开校验开关，强制对文件传输进行校验

-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD

-r, --recursive 对子目录以递归模式处理

-R, --relative 使用相对路径信息

-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。

--backup-dir 将备份文件(如~filename)存放在在目录下。

-suffix=SUFFIX 定义备份文件前缀

-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)

-l, --links 保留软链结

-L, --copy-links 想对待常规文件一样处理软链结

--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结

--safe-links 忽略指向SRC路径目录树以外的链结

-H, --hard-links 保留硬链结     -p, --perms 保持文件权限

-o, --owner 保持文件属主信息     -g, --group 保持文件属组信息

-D, --devices 保持设备文件信息    -t, --times 保持文件时间信息

-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间

-n, --dry-run现实哪些文件将被传输

-W, --whole-file 拷贝文件，不进行增量检测

-x, --one-file-system 不要跨越文件系统边界

-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节

-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步

--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息

-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件

--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件

--delete 删除那些DST中SRC没有的文件

--delete-excluded 同样删除接收端那些被该选项指定排除的文件

--delete-after 传输结束以后再删除

--ignore-errors 即使出现IO错误也进行删除

--max-delete=NUM 最多删除NUM个文件

--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输

--force 强制删除目录，即使不为空

--numeric-ids 不将数字的用户和组ID匹配为用户名和组名

--timeout=TIME IP超时时间，单位为秒

-I, --ignore-times 不跳过那些有同样的时间和长度的文件

--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间

--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0

-T --temp-dir=DIR 在DIR中创建临时文件

--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份

-P 等同于 --partial

--progress 显示备份过程

-z, --compress 对备份的文件在传输时进行压缩处理

--exclude=PATTERN 指定排除不需要传输的文件模式

--include=PATTERN 指定不排除而需要传输的文件模式

--exclude-from=FILE 排除FILE中指定模式的文件

--include-from=FILE 不排除FILE指定模式匹配的文件

--version 打印版本信息

--address 绑定到特定的地址

--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件

--port=PORT 指定其他的rsync服务端口

--blocking-io 对远程shell使用阻塞IO

-stats 给出某些文件的传输状态

--progress 在传输时现实传输过程

--log-format=formAT 指定日志文件格式

--password-file=FILE 从FILE中得到密码

--bwlimit=KBPS 限制I/O带宽，KBytes per second      -h, --help 显示帮助信息

rsync实例配置

系统环境：RHEL5.5

软件版本：rsync-3.0.8.tar.gz

安装说明：需在两台server上都安装

rsync 安装配置参数：

1.先建立个同步数据的帐号

groupadd rsync

useradd -g rsync -s /sbin/nologin -d /dev/null rsync

passwd rsync

2.配置

./configure --prefix=/usr/local/rsync --with-rsyncd-conf=/usr/local/rsync/etc --with-nobody-group=rsync

make && make install

3.建立rsync的配置文件rsyncd.conf 

因为configure的时候指定了config的文件路径在/usr/local/rsync/etc 下面，因此需要在此目录下建立配置文件

cd /usr/local/rsync

mkdir etc

cd etc

touch rsyncd.conf

配置文件的配置项根据实际需要配置，我的配置文件如下：

motd file = /usr/local/rsync/etc/rsyncd.motd /*当你登录到服务器上显示的一些信息*/
pid file = /usr/local/rsync/pid/rsyncd.pid
port = 873
address = 192.168.200.133
socket options = /usr/local/rsync/socket/rsyncd.socket
[soft]  /*定义要同步的模块，自己随便定义*/
comment = this is a software reposity /*模块的说明信息*/
path = /soft /*模块的路径*/
use chroot = false
#numeric ids
#munge symlinks
#charset
max connections = 0 /*最大连接数，0表示无限制*/
log file = /usr/local/rsync/log/rsyncd.log /*数据同步日志*/
syslog facility = syslog /*系统日志工具，也可以不定义*/
#max verbosity
lock file = /usr/local/rsync/lock/rsyncd.lock /*锁文件，与最大连接数配合，若超过最大连接数，则锁定相应的模块*/
read only = true
write only = false
list = false
uid = rsync /*同步用的帐号，此账户对模块要有相应的权限*/
gid = rsync /*同步用的帐号组*/
#fake super
#filter
#exclude
#include
#exclude from
#include from
#incoming chmod
#outgoing chmod
auth users = rsync /*授权的帐号，对要同步的模块有相应的权限*/
secrets file = /usr/local/rsync/secrets/rsyncd.secrets /*同步帐号的密码文件*/
strict modes = true /*使用限制模式*/
#hosts allow
#hosts deny
ignore errors = true
ignore nonreadable = false
transfer logging = true /*对传输数据进行日志记录*/
log format = %a-%b-%f-%m-%o-%P-%t-%u /*日志格式*/
timeout = 600 /*传输数据超时时间*/
#refuse options
dont compress = true
#pre-xfer exec
#post-xfer exec

rsync服务器启动

--daemon 是让rsync 以服务器模式运行

/usr/local/rsync/bin --daemon --config=/usr/local/rsync/etc/rsyncd.conf

rsync服务器和防火墙

iptables -A INPUT -p tcp -m state --state NEW -m tcp --dport 873 -j ACCEPT

根据以上的配置文件：/usr/local/rsync目录下应该有如下相关目录：

这是top图上服务器上rsync 配置

至于top图上的客户端rsync，因为我做的单项同步，也就从服务器上复制到客户端上，因此客户端只需要安装rsync，不需要配置。

在客户端上执行如下：

我将服务器端的soft模块复制到本地客户端的/soft目录下

输入同步帐号rsync的密码，就开始同步：

sent 130661 bytes  received 250703289 bytes  2099028.87 bytes/sec

total size is 445934450  speedup is 1.78

有两个文件因为没有权限所以提示“permission denied”,

总之，就是大家在设置的时候注意要同步的目录的权限设置！

主要参数范例：

--delete
假如server端有：a , b , c ,三个文件，
    client端有：a , b , c , d ,四个文件，使用如下命令：
 
./rsync -avz --progress --delete rsync@192.168.200.133::soft /soft

将删除client 中的d 文件，其他保持不变。


恢复数据，从client 恢复数据到server端

1.需要在服务器关闭 read only
read only = false ,即开启上传功能

./rsync -avz --progress /soft rsync@192.168.200.133::soft

把client 端/soft 目录中的数据上传到server 192.168.200.133 中的 soft 模块

根据我的配置，服务器上的日志会记录同步的每一个数据，目录，很详细的日志，不过越详细的日志就越大！

大家自己试试看！！