Linux下使用Rsync实现文件同步

http://blog.chinaunix.net/uid-18933439-id-2808718.html

目标：实现多台服务器文件同步，保证数据安全性

环境：CentOS 5.5 2台(WEB:10.80.11.245;BACKUP:10.80.11.244)

第一部分：简单的数据同步 

第一步：服务器端的配置

#rpm –qa |grep rsync

如果没有的话，则自行下载安装

#cd  /usr/local/src

# wget

#tar –zxvf rsync-3.0.6pre1.tar.gz

#cd rsync-3.0.6pre1

#./configure && make && make install

假设web服务器有三个目录需要备份

/www

/home/web_user1/

/home/web_user2/

创建rsync的配置文件

#vim /etc/rsyncd.conf

uid = nobody

gid = nobody

use chroot = no

max connections = 4

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

 

[www]

path = /www/

ignore errors

read only = true

list = false

hosts allow = 10.80.11.244

hosts deny = 0.0.0.0/32

auth users = backup

secrets file = /etc/backserver.pas

 

[web_user1]

path = /home/web_user1/

ignore errors

read only = true

list = false

hosts allow = 10.80.11.244

hosts deny = 0.0.0.0/32

uid = web_user1

gid = web_user1

auth users = backup

secrets file = /etc/backserver.pas

 

[web_user2]

path = /home/web_user2/

ignore errors

read only = true

list = false

hosts allow = 10.80.11.244

hosts deny = 0.0.0.0/32

uid = web_user2

gid = web_user2

auth users = backup

secrets file = /etc/backserver.pas

备注：

uid = nobody        //指定文件传输过程中的用户身份
gid = nobody        //指定文件传输过程中的组身份

log file = /var/log/rsyncd.log        //指定使用独立的日志文件的位置
pid file = /var/run/rsyncd.pid        //保存pid到指定文件，以便于使用脚本终止进程

read only = yes        //该目录设置为只读，即只允许客户端下行同步，不允许上传。若需要进行从备份机还原数据，改为no

rsyncd默认在873端口监听服务，可在客户端使用telnet连接测

密码文件为/etc/backserver.pas

#vim /etc/backserver.pas

backup:123456

格式为：用户名:密码

设置密码文件仅仅root用户能访问

#chmod 600 /etc/backserver.pas

然后建立备份用户

#useradd backup

#passwd backup

在服务器端启动rsync服务

# nohup rsync --daemon &

 

第二步：备份端的配置

安装rsync软件，同上

设置密码文件

#vim /etc/rsync.pas

123456

在客户端不需要加用户名，只需要加密码，同时设置为只有root有权限

#chmod 600 /etc/rsync.pass

创建备份目录

#mkdir-p /backup/www

#mkdir -p /backup/web_user1

#mkdir -p /backup/web_user2

把服务器端文件www模块备份到本机

#/usr/bin/rsync -vzrtopg --delete --exclude "logs/" --exclude "conf/ssl.*/" --progress backup@10.80.11.243::www /backup/www/ --password-file=/etc/rsync.pass

 

--delete是指如果服务器端删除了这一文件，那么客户端也相应把文件删除，保持真正的一致, 删除本地目录中多余的文件

-- exclude "logs/" 表示不对/www/logs目录下的文件进行备份。

--exclude "conf/ssl.*/"表示不对/www/conf/ssl.*/目录下的文件进行备份。

对其他的模块的备份如下：

#/usr/bin/rsync -vzrtopg --delete --exclude "logs/" --exclude "conf/ssl.*/" --progress backup@10.80.11.243::web_user1 /backup/web_user1/ --password-file=/etc/rsync.pass

 

#/usr/bin/rsync -vzrtopg --delete --exclude "logs/" --exclude "conf/ssl.*/" --progress backup@10.80.11.243:: web_user2 /backup/web_user2/ --password-file=/etc/rsync.pass

如果提示以下错误

@ERROR: invalid uid web_user2

rsync error: error starting client-server protocol (code 5) at main.c(1503) [receiver=3.0.6pre1]

则需要修改web服务器上的web_user2的uid和gid注释掉

定时备份的话，在crontab –e里面设置

附:备份脚本，可以加入crontab,按时自动备份（backup服务器上运行）

#!/bin/bash

DATE=`date  +%w`

rsync -tvzrp -e ssh --progress --delete backup@10.80.11.244::www /backup/www/$DATE   --password-file=/etc/rsync.pass > /var/log/test.$DATE

mail -s "Backup is done" [e-mail] < /var/log/test.$DATE

 

第二部分：源码发布服务器同步到N台WEB服务器

环境：

web1:10.80.11.243

web2:10.80.11.244

code:10.80.11.245

更新code服务器的代码后，自动同步到web1和web2,删除code服务器文件，web1和web2也删除

服务器端的安装（N台WEB都这样配置）

1、首先要求Linux内核在2.6以上，才支持inotify

[root@web1 html]# uname -a

Linux web1 2.6.18-194.el5 #1 SMP Fri Apr 2 14:58:35 EDT 2010 i686 i686 i386 GNU/Linux

2、检查是否安装rsync软件

[root@web1 html]# rpm -qa |grep rsync

rsync-2.6.8-3.1

如果没有的话，通过yum –y install rsync安装

3、新建rsync配置文件，该软件安装默认没有配置文件

#vim /etc/rsyncd.conf

motd file = /etc/rsyncd.motd

uid=root

gid=root

max connections=36000

use chroot=no

log file=/var/log/rsyncd.log

log format =  %t %a %m %f %b

pid file=/var/run/rsyncd.pid

lock file=/var/run/rsyncd.lock

timeout = 300

 

 

[tongbu]

path=/var/www/html

list=yes

comment = this is comment

ignore errors = yes

read only = no

hosts allow = 10.80.11.245

hosts deny = *

auth users backup

secrets file = /etc/rsyncd.secrets

注：tongbu为发布模块，相当于路径的别名

hosts allow是只允许连接的IP

secrets file = /etc/rsyncd.secrets

这是密码文件，同步的用户为backup，下面创建同步用户

#useradd backup

#passwd backup

#vim /etc/rsyncd.secrets

backup:123456

格式为

用户名：密码

#chmod 600 /etc/rsyncd.secrets

设置只有root用户才能查看这个文件

4、启动服务

/usr/bin/rsync --daemon --config=/etc/rsyncd.conf

其他的WEB服务器配置和上面是一样的。如果需要开机启动，加入到/etc/rc.local

发布端的配置

1、发布端主要利用开源软件sersync，网站为：

#cd /usr/local/

#wget 

#tar –zxvf sersync2.5RC1_32bit_binary.tar.gz

#cd GNU-Linux-x86

2、修改配置文件

#vim confxml.xml

    

    

         

         

    

    

         true"/>

         true"/>

    

    

    

         /var/www/html">

             10.80.11.243" name="tongbu"/>

             10.80.11.244" name="tongbu"/>

         

         

             true" users="backup" passwordfile="/etc/rsync.pas"/>

             

             

             

         

         

         

             

                   

                   

             

         

         

    

 

    

                 

         

             

             

         

    

   

    

         

             

         

    

    

         

             

             

             

         

    

 

/var/www/html为发布服务器的源码发布目录

主要修改红色标记部分，密码文件为/etc/rsync.pas

#vim /etc/rsync.pas

123456#

解释：123456代表的是Rsync server端的密码，并且要以"#"做结尾。如果有多个密码，增加多行就行。

#chmod 600 /etc/rsync.pas

3、启动服务

#./sersync2 -d –r

这种方式常驻进程，如果需要开机启动，加入到/etc/rc.local

这样只要修改发布服务器/var/www/html的文件，web服务器就会自动同步。