原文：http://ixdba.blog.51cto.com/2895551/580280/
建议看看博主的书，<<高性能linux服务器构建实战 运维监控、性能调优与集群应用>>

rsync的优点与不足

与传统的cp、tar备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。

随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出的更好的要求，rsync在高端业务系统中也逐渐暴露出了很多不足，首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。基于以上原因，rsync+inotify组合出现了！

Inotify
是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了Inotify支持，通过Inotify可以监控文件系统中添加、删除，修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。
在上面章节中，我们讲到，rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。

由于inotify特性需要Linux内核的支持，在安装inotify-tools前要先确认Linux系统内核是否达到了2.6.13以上，如果Linux内核低于2.6.13版本，就需要重新编译内核加入inotify的支持，也可以用如下方法判断，内核是否支持inotify：

[root@localhost ~]# ll /proc/sys/fs/inotify
总计 0
-rw-r–r– 1 root root 0 02-24 05:04 max_queued_events
-rw-r–r– 1 root root 0 02-24 05:04 max_user_instances
-rw-r–r– 1 root root 0 02-24 05:04 max_user_watches

如果有上面三项输出，表示系统已经默认支持inotify，接着就可以开始安装inotify-tools。

下载inotify-tools：
http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
最新版本可从github上寻找。

安装inotify：

[root@localhost ~]# tar zxvf inotify-tools-3.14.tar.gz
[root@localhost ~]# cd inotify-tools-3.14
[root@localhost inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify
[root@localhost inotify-tools-3.14]# make && make install

[root@localhost inotify-tools-3.14]# cd
[root@localhost ~]# ll /usr/local/inotify/bin/
总计 92
-rwxr-xr-x 1 root root 47104 02-24 02:29 inotifywait
-rwxr-xr-x 1 root root 43434 02-24 02:29 inotifywatch

inotify-tools安装完成后，会生成inotifywait和inotifywatch两个指令，其中，inotifywait用于等待文件或文件集上的一个特定事件，它可以监控任何文件和目录设置，并且可以递归地监控整个目录树。
inotifywatch用于收集被监控的文件系统统计数据，包括每个inotify事件发生多少次等信息。

inotify定义了下列的接口参数，可以用来限制inotify消耗kernel memory的大小。由于这些参数都是内存参数，因此，可以根据应用需求，实时的调节其大小。下面分别做简单介绍。
/proc/sys/fs/inotify/max_queued_evnets
表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值，超出这个值的事件被丢弃，但会触发IN_Q_OVERFLOW事件。
/proc/sys/fs/inotify/max_user_instances
表示每一个real user ID可创建的inotify instatnces的数量上限。
/proc/sys/fs/inotify/max_user_watches
表示每个inotify instatnces可监控的最大目录数量。如果监控的文件数目巨大，需要根据情况，适当增加此值的大小，例如：
echo 30000000 > /proc/sys/fs/inotify/max_user_watches

inotifywait相关参数
Inotifywait是一个监控等待事件，可以配合shell脚本使用它，下面介绍一下常用的一些参数：
-m， 即–monitor，表示始终保持事件监听状态。
-r， 即–recursive，表示递归查询目录。
-q， 即–quiet，表示打印出监控事件。
-e， 即–event，通过此参数可以指定要监控的事件，常见的事件有modify、delete、create、attrib等。
更详细的请参看man inotifywait。

实例：
服务器环境：
server1 : 192.168.1.20
server2 : 192.168.1.21
皆为：rhel5.5_x64 2.6.18-194.el5

要求两台服务器，数据实时同步。在真实环境中可能是要求两台服务器互相实时同步。这里先不做此测试，仅测试实时同步。
首先我在server1中做好rsync，发布需要同步的文件夹，充当客户端。server2为发布机器，server2中有数据更新的话同步到server1中。
server1 rsync配置：
[root@localhost ~]# vi /etc/rsyncd.conf

strict modes = yes
uid = root
gid = root
port = 873
hosts allow = 192.168.1.21
hosts deny = 0.0.0.0/32
use chroot = no
max connections = 10
timeout = 10
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/logrsyncd.log

[web]
path = /var/www/html
ignore erros
read only = no
write only = no
list = no
auth users = root
secrets file = /etc/rsync.passwd

[root@localhost ~]# vi /etc/rsync.passwd

root:root

启动xinetd，rsync。

server2 下载inotify-tools与rsync并安装。安装过程略过。
编辑密码认证配置文件 /etc/rsync.passwd 方便略过密码输入。添加一行：
root     //这个地方是rsync客户端用户的密码

保存退出。
inotify+rsync同步脚本 vi ino_rsy.sh :

#!/bin/bash
DESTHOST=192.168.1.20
DESTHOSTDIR=/var/www/html/
SRCDIR=/root/test/

/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $SRCDIR \
| while read files

do

rsync -avz --delete --password-file=/etc/rsync.passwd $SRCDIR root@${DESTHOST}::web
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done

参数介绍：

--timefmt：指定时间的输出格式。
--format：指定变化文件的详细信息。
两个参数一般配合使用，通过指定输出格式，输出类似与：

[root@localhost ~]# cat /tmp/rsync.log
24/02/14 06:43 /root/test/abcCREATE,ISDIR was rsynced
24/02/14 06:45 /root/test/abc/testfileCREATE was rsynced
24/02/14 06:45 /root/test/abc/testfileATTRIB was rsynced
24/02/14 06:46 /root/test/abc/testfileMODIFY was rsynced

这个脚本的作用就是通过inotify监控文件目录的变化，进而触发rsync进行同步操作，由于这个过程是一种主动触发操作，通过系统内核完成的，所以，比起那些遍历整个目录的扫描方式，效率要高很多。
有时会遇到这样的情况：向inotify监控的目录（这里是/root/test/）写入一个很大文件时，由于写入这个大文件需要一段时间，此时inotify就会持续不停的输出该文件被更新的信息， 这样就会持续不停的触发rsync去执行同步操作，占用了大量系统资源，那么针对这种情况，最理想的做法是等待文件写完后再去触发rsync同步。 在这种情况下，可以修改inotify的监控事件，
即：-e close_write,delete,create,attrib

给予脚本执行权限，放到后台运行即可。可添加到系统自启动中后台运行。

测试：
在server2中的/root/test/下创建、删除文件等，去server1的/var/www/html/下确定是否同步。

PS:
在实际多台web服务器中，需要对服务器之间互相进行同步。就需要反过来再配置一遍即可。回头测试一下。不过在集群中还是建议用分布式文件系统。