通过rsync远程增量备份您的数据

通过rsync远程增量备份您的数据备份是写代码的人必不可少的一项工作，传统的备份，一般就是copy所有数据到一个地方，然后贴上标签，表示是什么时候备份的，这种备份被称之为“整体备份”。

如 果经常进行整体备份，对磁盘的空间占用需求就很大，尤其当你备份大容量的数据的时候，有时候，比如一个星期，只对其中一小部分的内容进行了修改，但是还是 需要全部重新备份一次，很显然，太浪费磁盘空间了；此时增量备份就派上用场了，增量备份，又叫做差异备份，意如其名，只备份修改过的部分。

好了，废话说完了，来看看如何实际操作，我们用到的软件是大名鼎鼎的 rsync，很多网站的镜像就是用它来完成的。

====================
环境介绍：
====================

    备份服务器： 192.168.0.1
    需要备份的目录：/data 和 /home/work
    备份时验证用户名和密码： backup/secret

    备份客户机(备份数据存放地)：192.168.0.11
   
    客户机和服务器均需安装 rsync 软件包

====================
服务器端配置：
====================

    创建 /etc/rsyncd.conf 主配置文件：

## file of /etc/rsyncd.conf
motd file=/var/rsync/welcome.msg
pid file = /var/rsync/rsyncd.pid
lock file = /var/rsync/rsync.lock
log file = /var/rsync/rsyncd.log

### 需要备份的模块
[data]
comment = our data for service
path = /data
use chroot = no
max connections = 4
read only = true
list = false
uid = nobody
gid = nogroup
secrets file = /etc/rsyncd.secrets
hosts allow = 192.168.0.11
hosts deny = 0.0.0.0/0
ignore errors = yes
transfer logging = yes
log format = "%a %f %l"
auth users = backup

### 需要备份的模块
[work]
comment = our work information
path = /home/work
use chroot = no
max connections = 4
read only = true
list = false
uid = nobody
gid = nogroup
secrets file = /etc/rsyncd.secrets
hosts allow = 192.168.0.11
hosts deny = 0.0.0.0/0
ignore errors = yes
transfer logging = yes
log format = "%a %f %l"
auth users = backup

上面定义了2个备份点，只允许 192.168.0.11 连接，需要验证的用户名为 backup

然后创建密码文件，每一行格式为： 用户名:密码，都是明文的
### file of /etc/rsyncd.secrets
backup:secret

创建日志或运行目录: mkdir /var/rsync

好了，服务器端的工作完成了，只需要运行 rsyn --daemon 启动 rsync 服务即可

====================
客户端的配置
====================
客户端就不用创建什么配置文件了，可以直接运行命令来完成备份，但是为了方便操作，用脚本来完成似乎更理想。

备份要求: 所有的数据统一放到一个根目录下，主备份用每个备份点名字命名，增量备份目录为 Increment，每个备份点的增量备份数据，全部放到这个目录下面，目录为当前日期，格式为 2007-08-11_11-22

文件目录树如下：
/backup/                备份根目录
   |------- work/       备份点1的主目录，这个目录里面的数据是备份完成后最新的
   |------- data/       备份点2的主目录，同上
   `------- Increment/  增量备份根目录
                |
                `----- work/  备份点1的差异/修改备份数据
                           |
                           |--- 2007-08-11_10-22  从最开始备份到08月11日10点22分，所修改的数据
                           `--- 2007-08-11_11-22  从10点22分到11点22分，所修改过的数据
         
准备工作:

创建备份根目录: mkdir /backup，其他的目录备份时会自动被创建
创建密码文件(这样可以不用手动输入密码): echo "secret" > /backup/passwd

下面就是备份的脚本了

#****************************************************
#         Author: Muddyboot -
#  Last modified: 2007-08-10 21:39
#       Filename: rsync.sh
#    Description: backup files via rsyn
#****************************************************

### 默认备份时没有任何输出
### 如果需要看到备份的详细信息或备份进度，加上 verb 和 progress
unset verb progress
for i in $*; do
    [ "$i" = "verb" ] && verb=v
    [ "$i" = "progress" ] && progress="--progress"
done

### 备份服务器地址
RSYNC_SERVER=192.168.0.1

### 备份时验证用户名
AUTH_USER=backup

### 备份根目录
BAKROOT=/backup
[ ! -e $BAKROOT ] && mkdir -p $BAKROOT

### 密码文件
PASSWD_FILE=$BAKROOT/passwd

### 检查密码文件的权限，因为是明文的，所以设为 0600 比较安全
PASSWD_PERM=`ls -l $PASSWD_FILE|awk '{print $1}'`

if [ "$PASSWD_PERM" != "-rw-------" ]; then
    echo -e "\nWARNING: permission of passwd file changed to 0600 \n";
    chmod 0600 $PASSWD_FILE
fi

###  备份日志
LOGFILE=$BAKROOT/backup.log

### 备份时需要排除的文件
EXCLUDES=$BAKROOT/exclude_file

[ ! -e $EXCLUDES ] && touch $EXCLUDES

### 备份点
BACKUP_MODULES="data work"

### rsync 的参数
OPTIONS="--force --ignore-errors --delete --delete-excluded \
    --exclude-from=$EXCLUDES $progress \
    --password-file=$PASSWD_FILE --backup"

### 删除以前的临时日志文件
rm -f $BAKROOT/log.*

log_id=0
for bakdir in $BACKUP_MODULES; do
    log_id=`expr $log_id + 1`
    SUBOPTS="--backup-dir=$INC_DIR/$bakdir/$BAKTIME -az${verb}"
    rsync $OPTIONS $SUBOPTS \
        $BAKROOT/$bakdir | tee $BAKROOT/log.$log_id
done

### 合并临时日志到备份日志中
cat $BAKROOT/log.* >> $LOGFILE
rm -f $BAKROOT/log.*

##### end of rsync.sh

OK，脚本完成了，chmod 755 rsync.sh

开始备份: ./rsync.sh verb progress 就可以了，备份时，会自动从密码文件读取密码进行验证，备份的详细信息及进度会在当前终端输出，同时也记录到 backup.log 文件中。

两次备份后，如果数据在这段时间内有改动，会产生差异备份数据，用当前时间命名，便于以后查找

如果有些数据你不想备份，可以加入到 exclude_file 文件中，每条记录占一行，支持通配符，比如
/tmp         ## 排除名为 tmp 的根目录  
.[a-z]*     ## 不备份以点开头的隐藏文件

====================
rsync 后记
====================

1. 备份时若需要考虑到传输数据的安全，可以通过 rsync over ssh 来完成，加入一个 -e ssh 参数即可，适用于远程备份机密数据的场合；内网备份或对数据安全没有什么要求，就不必了，通过ssh后备份速度会有所减慢。

2. 备份参数中需要注意 --delete 参数，意为：删除本地备份目录存在，但是远程备份服务器不存在的文件和目录，也就是说，如果备份点删除了某个文件，备份过后，备份目的地的该文件也将被删 除。还好有增量备份的存在，这个文件会移到增量备份目录中，如果没有增量备份，那么这个文件就永久被删除了。

3. 暂时没了，以后想到了再补充.