Rootop 服务器运维与web架构

rsync官网下载地址：
https://rsync.samba.org/ftp/rsync/
目前最新版本：https://rsync.samba.org/ftp/rsync/rsync-3.1.0.tar.gz

Rsync 是一个远程数据同步工具，可通过 LAN/WAN 快速同步多台主机间的文件。 Rsync 本来是用以取代 rcp 的一个工具，它当前由 rsync.samba.org 维护。 Rsync 使用所谓的“ Rsync 演算法 ”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。运行 Rsync server 的机器也叫 backup server ，一个 Rsync server 可同时备份多个 client 的数据；也可以多个 Rsync server 备份一个 client 的数据。
Rsync 可以搭配 rsh 或 ssh 甚至使用 daemon 模式。 Rsync server 会打开一个 873 的服务通道 (port) ，等待对方 Rsync 连接。连接时， Rsync server 会检查口令是否相符，若通过口令查核，则可以开始进行文件传输。第一次连通完成时，会把整份文件传输一次，下一次就只传送二个文件之间不同的部份。
Rsync 支持大多数的类 Unix 系统，无论是 Linux 、 Solaris 还是 BSD 上都经过了良好的测试。此外，它在 windows 平台下也有相应的版本，比较知名的有 cwRsync 和 Sync2NAS 。
Rsync 的基本特点如下：
1. 可以镜像保存整个目录树和文件系统；
2. 可以很容易做到保持原来文件的权限、时间、软硬链接等；
3. 无须特殊权限即可安装；
4. 优化的流程，文件传输效率高；
5. 可以使用 rcp 、 ssh 等方式来传输文件，当然也可以通过直接的 socket 连接；
6. 支持匿名传输。

核心算法介绍：

假定在名为α和β的两台计算机之间同步相似的文件 A 与 B ，其中α对文件 A 拥有访问权，β对文件 B 拥有访问权。并且假定主机α与β之间的网络带宽很小。那么 rsync 算法将通过下面的五个步骤来完成：
1. β将文件 B 分割成一组不重叠的固定大小为 S 字节的数据块。最后一块可能会比 S 小。
2. β对每一个分割好的数据块执行两种校验：一种是 32 位的滚动弱校验，另一种是 128 位的 MD4 强校验。
3. β将这些校验结果发给α。
4. α通过搜索文件 A 的所有大小为 S 的数据块 ( 偏移量可以任选，不一定非要是 S 的倍数 ) ，来寻找与文件 B 的某一块有着相同的弱校验码和强校验码的数据块。这项工作可以借助滚动校验的特性很快完成。
5. α发给β一串指令来生成文件 A 在β上的备份。这里的每一条指令要么是对文件 B 经拥有某一个数据块而不须重传的证明，要么是一个数据块，这个数据块肯定是没有与文件 B 的任何一个数据块匹配上的。

命令：

rsync 的命令格式可以为以下六种：
rsync [OPTION]… SRC DEST
rsync [OPTION]… SRC [USER@]HOST:DEST
rsync [OPTION]… [USER@]HOST:SRC DEST
rsync [OPTION]… [USER@]HOST::SRC DEST
rsync [OPTION]… SRC [USER@]HOST::DEST
rsync [OPTION]… rsync://[USER@]HOST[:PORT]/SRC [DEST]
对应于以上六种命令格式， rsync 有六种不同的工作模式：
1) 拷贝本地文件。当 SRC 和 DES 路径信息都不包含有单个冒号 “:” 分隔符时就启动这种工作模式。
2) 使用一个远程 shell 程序 ( 如 rsh 、 ssh) 来实现将本地机器的内容拷贝到远程机器。当 DST 路径地址包含单个冒号 “:” 分隔符时启动该模式。
3) 使用一个远程 shell 程序 ( 如 rsh 、 ssh) 来实现将远程机器的内容拷贝到本地机器。当 SRC 地址路径包含单个冒号 “:” 分隔符时启动该模式。
4) 从远程 rsync 服务器中拷贝文件到本地机。当 SRC 路径信息包含 “::” 分隔符时启动该模式。
5) 从本地机器拷贝文件到远程 rsync 服务器中。当 DST 路径信息包含 “::” 分隔符时启动该模式。
6) 列远程机的文件列表。这类似于 rsync 传输，不过只要在命令中省略掉本地机信息即可。

服务端安装(发布端)：

[root@localhost ~]# wget -c https://rsync.samba.org/ftp/rsync/rsync-3.1.0.tar.gz
[root@localhost ~]# tar zxvf rsync-3.1.0.tar.gz
[root@localhost ~]# cd rsync-3.1.0
[root@localhost rsync-3.1.0]# ./configure --prefix=/usr/local/rsync
[root@localhost rsync-3.1.0]# make && make install

rsync默认会去 /etc/rsyncd.conf 中找配置信息，手动创建一个。
[root@localhost ~]# vi /etc/rsyncd.conf

strict modes = yes     //检查认证文件
uid = root                   // 指定该模块传输文件时守护进程应该具有的uid
gid = root                   //指定该模块传输文件时守护进程应该具有的gid
port = 873                  //默认端口
hosts allow = 192.168.1.21           //允许连接的主机
hosts deny = 0.0.0.0/32              //拒绝的主机
use chroot = no
max connections = 10
timeout = 10
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log

[test]       //定义发布名称
path = /var/www/html     //指定要同步目录
ignore errors                       //忽略I/O错误
read only = no                    //no客户端可上传文件,yes只读
write only = no                  //no客户端可下载文件,yes不能下载
list = no                               //是否把rsync 服务器上提供同步数据的目录显示
auth users = root              //认证的用户名，如果没有这行，则表明是匿名
secrets file = /etc/rsync.passwd                //指定认证口令文件位置

创建口令文件：
[root@localhost ~]# vi /etc/rsync.passwd

root:root     //冒号前面是用户名，后面是密码

[root@localhost ~]# chmod 600 /etc/rsync.passwd   //改为600权限
[root@localhost ~]# ll /etc/rsync.passwd
-rw——- 1 root root 10 02-23 10:41 /etc/rsync.passwd

编辑/etc/xinetd.d/rsync

注意：（3.1.2版本启动方式发生变化，通过rsync --daemon启动）：

[root@localhost rsync-3.1.0]# vi /etc/xinetd.d/rsync

# default: off
# description: The rsync server is a good addition to an ftp server, as it \
# allows crc checksumming etc.
service rsync
{
disable = no    //默认为yes ，改为no
socket_type = stream
wait = no
user = root
server = /usr/bin/rsync
server_args = –daemon
log_on_failure += USERID
}

启动rsync：
[root@localhost ~]# service xinetd restart
[root@localhost ~]# chkconfig rsync on
[root@localhost ~]# chkconfig xinetd on

检查是否启动：
[root@localhost ~]# lsof -i:873
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
xinetd 17330 root 5u IPv4 47554 TCP *:rsync (LISTEN)

记得在iptables中开放873端口或者直接关闭iptables

客户端安装：
跟服务端安装一样，过程略(不需要配置文件 make install 完成即可)，现在测试数据同步：

[root@localhost ~]# rsync -vzrtopg --progress --delete root@192.168.1.20::test /root/test
Password:
receiving file list ...
6 files to consider

sent 96 bytes received 156 bytes 11.72 bytes/sec
total size is 0 speedup is 0.00

这里命令的含义是：用root账户从192.168.1.20这台服务器发布的test项目获取数据到本地的/root/test文件夹中。

[root@localhost ~]# ll /root/test/
总计 0
-rwxrwxrwx 1 root root 0 02-23 14:59 a
-rwxrwxrwx 1 root root 0 02-23 15:01 b
-rwxrwxrwx 1 root root 0 02-23 15:01 c
-rwxrwxrwx 1 root root 0 02-23 15:01 d
-rwxrwxrwx 1 root root 0 02-23 15:01 e
数据同步过来，并且权限一致。

rsync 同步参数说明
-vzrtopg里的v是verbose，z是压缩，r是recursive，topg都是保持文件原有属性如属主、时间的参数。
–progress是指显示出详细的进度情况
–delete是指如果服务器端删除了这一文件,那么客户端也相应把文件删除

客户端本地文件上传到服务端：
在/root/test 中创建一个文件，名字为 f

[root@localhost test]# rsync -vzrtopg --delete /root/test/ root@192.168.1.20::test
Password:
building file list ... done
./
f

sent 155 bytes received 44 bytes 79.60 bytes/sec
total size is 0 speedup is 0.00

区别在于将本地/root/test 写到 root@192.168.1.20::test 前，效果就是推送数据至服务器。

去服务端查看，文件被上传。

在客户端下载、上传时，会提示输入密码，可以在执行命令的时候指定密码文件：
首先创建密码文件：
[root@localhost ~]# cat /etc/rsync.passwd
root      //这里直接写密码即可。

[root@localhost ~]# chmod 600 /etc/rsync.passwd    //更改权限，否则会出错。

[root@localhost ~]# rsync -vzrtopg --delete /root/test/ root@192.168.1.20::test --password-file=/etc/rsync.passwd
building file list ... done

sent 129 bytes received 16 bytes 96.67 bytes/sec
total size is 0 speedup is 0.00

通过加上 –password-file=/etc/rsync.passwd 不再提示输入密码，然后通过linux的计划任务，可以定时同步(推送)数据。

PS:

往服务端传文件的时候，记得本地路径一定要规范，比如把/root/test下文件传到服务端，一定要写为/root/test/  不能少了斜杠。否则会在服务端中创建test文件夹。

PPS：

同步的时候会删除本地指定文件夹下的所有文件，不要误删文件。

PPPS:

rsync -vzrtopg –progress –delete root@192.168.1.20::test /root/test

一定要留意远程跟本地文件夹的前后顺序，实现的效果是不一样的。远程主机在前是把远程服务器的数据同步到本地，如果本地文件夹在前等于是推送数据至客户端。