Rootop 服务器运维与web架构

利用rsync同步数据

| 暂无评论

rsync官网下载地址:
https://rsync.samba.org/ftp/rsync/
目前最新版本:https://rsync.samba.org/ftp/rsync/rsync-3.1.0.tar.gz

Rsync 是一个远程数据同步工具,可通过 LAN/WAN 快速同步多台主机间的文件。 Rsync 本来是用以取代 rcp 的一个工具,它当前由 rsync.samba.org 维护。 Rsync 使用所谓的“ Rsync 演算法 ”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。运行 Rsync server 的机器也叫 backup server ,一个 Rsync server 可同时备份多个 client 的数据;也可以多个 Rsync server 备份一个 client 的数据。
Rsync 可以搭配 rsh 或 ssh 甚至使用 daemon 模式。 Rsync server 会打开一个 873 的服务通道 (port) ,等待对方 Rsync 连接。连接时, Rsync server 会检查口令是否相符,若通过口令查核,则可以开始进行文件传输。第一次连通完成时,会把整份文件传输一次,下一次就只传送二个文件之间不同的部份。
Rsync 支持大多数的类 Unix 系统,无论是 Linux 、 Solaris 还是 BSD 上都经过了良好的测试。此外,它在 windows 平台下也有相应的版本,比较知名的有 cwRsync 和 Sync2NAS 。
Rsync 的基本特点如下:
1. 可以镜像保存整个目录树和文件系统;
2. 可以很容易做到保持原来文件的权限、时间、软硬链接等;
3. 无须特殊权限即可安装;
4. 优化的流程,文件传输效率高;
5. 可以使用 rcp 、 ssh 等方式来传输文件,当然也可以通过直接的 socket 连接;
6. 支持匿名传输。

核心算法介绍:

假定在名为α和β的两台计算机之间同步相似的文件 A 与 B ,其中α对文件 A 拥有访问权,β对文件 B 拥有访问权。并且假定主机α与β之间的网络带宽很小。那么 rsync 算法将通过下面的五个步骤来完成:
1. β将文件 B 分割成一组不重叠的固定大小为 S 字节的数据块。最后一块可能会比 S 小。
2. β对每一个分割好的数据块执行两种校验:一种是 32 位的滚动弱校验,另一种是 128 位的 MD4 强校验。
3. β将这些校验结果发给α。
4. α通过搜索文件 A 的所有大小为 S 的数据块 ( 偏移量可以任选,不一定非要是 S 的倍数 ) ,来寻找与文件 B 的某一块有着相同的弱校验码和强校验码的数据块。这项工作可以借助滚动校验的特性很快完成。
5. α发给β一串指令来生成文件 A 在β上的备份。这里的每一条指令要么是对文件 B 经拥有某一个数据块而不须重传的证明,要么是一个数据块,这个数据块肯定是没有与文件 B 的任何一个数据块匹配上的。

命令:

rsync 的命令格式可以为以下六种:
rsync [OPTION]… SRC DEST
rsync [OPTION]… SRC [USER@]HOST:DEST
rsync [OPTION]… [USER@]HOST:SRC DEST
rsync [OPTION]… [USER@]HOST::SRC DEST
rsync [OPTION]… SRC [USER@]HOST::DEST
rsync [OPTION]… rsync://[USER@]HOST[:PORT]/SRC [DEST]
对应于以上六种命令格式, rsync 有六种不同的工作模式:
1) 拷贝本地文件。当 SRC 和 DES 路径信息都不包含有单个冒号 “:” 分隔符时就启动这种工作模式。
2) 使用一个远程 shell 程序 ( 如 rsh 、 ssh) 来实现将本地机器的内容拷贝到远程机器。当 DST 路径地址包含单个冒号 “:” 分隔符时启动该模式。
3) 使用一个远程 shell 程序 ( 如 rsh 、 ssh) 来实现将远程机器的内容拷贝到本地机器。当 SRC 地址路径包含单个冒号 “:” 分隔符时启动该模式。
4) 从远程 rsync 服务器中拷贝文件到本地机。当 SRC 路径信息包含 “::” 分隔符时启动该模式。
5) 从本地机器拷贝文件到远程 rsync 服务器中。当 DST 路径信息包含 “::” 分隔符时启动该模式。
6) 列远程机的文件列表。这类似于 rsync 传输,不过只要在命令中省略掉本地机信息即可。

服务端安装(发布端):

[root@localhost ~]# wget -c https://rsync.samba.org/ftp/rsync/rsync-3.1.0.tar.gz
[root@localhost ~]# tar zxvf rsync-3.1.0.tar.gz
[root@localhost ~]# cd rsync-3.1.0
[root@localhost rsync-3.1.0]# ./configure --prefix=/usr/local/rsync
[root@localhost rsync-3.1.0]# make && make install

rsync默认会去 /etc/rsyncd.conf 中找配置信息,手动创建一个。
[root@localhost ~]# vi /etc/rsyncd.conf

strict modes = yes     //检查认证文件
uid = root                   // 指定该模块传输文件时守护进程应该具有的uid
gid = root                   //指定该模块传输文件时守护进程应该具有的gid
port = 873                  //默认端口
hosts allow = 192.168.1.21           //允许连接的主机
hosts deny = 0.0.0.0/32              //拒绝的主机
use chroot = no
max connections = 10
timeout = 10
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log

[test]       //定义发布名称
path = /var/www/html     //指定要同步目录
ignore errors                       //忽略I/O错误
read only = no                    //no客户端可上传文件,yes只读
write only = no                  //no客户端可下载文件,yes不能下载
list = no                               //是否把rsync 服务器上提供同步数据的目录显示
auth users = root              //认证的用户名,如果没有这行,则表明是匿名
secrets file = /etc/rsync.passwd                //指定认证口令文件位置

创建口令文件:
[root@localhost ~]# vi /etc/rsync.passwd

root:root     //冒号前面是用户名,后面是密码

[root@localhost ~]# chmod 600 /etc/rsync.passwd   //改为600权限
[root@localhost ~]# ll /etc/rsync.passwd
-rw——- 1 root root 10 02-23 10:41 /etc/rsync.passwd

编辑/etc/xinetd.d/rsync

注意:(3.1.2版本启动方式发生变化,通过rsync --daemon启动):

[root@localhost rsync-3.1.0]# vi /etc/xinetd.d/rsync

# default: off
# description: The rsync server is a good addition to an ftp server, as it \
# allows crc checksumming etc.
service rsync
{
disable = no    //默认为yes ,改为no
socket_type = stream
wait = no
user = root
server = /usr/bin/rsync
server_args = –daemon
log_on_failure += USERID
}

启动rsync:
[root@localhost ~]# service xinetd restart
[root@localhost ~]# chkconfig rsync on
[root@localhost ~]# chkconfig xinetd on

检查是否启动:
[root@localhost ~]# lsof -i:873
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
xinetd 17330 root 5u IPv4 47554 TCP *:rsync (LISTEN)

记得在iptables中开放873端口或者直接关闭iptables

客户端安装:
跟服务端安装一样,过程略(不需要配置文件 make install 完成即可),现在测试数据同步:

[root@localhost ~]# rsync -vzrtopg --progress --delete root@192.168.1.20::test /root/test
Password:
receiving file list ...
6 files to consider

sent 96 bytes received 156 bytes 11.72 bytes/sec
total size is 0 speedup is 0.00

这里命令的含义是:用root账户从192.168.1.20这台服务器发布的test项目获取数据到本地的/root/test文件夹中。

[root@localhost ~]# ll /root/test/
总计 0
-rwxrwxrwx 1 root root 0 02-23 14:59 a
-rwxrwxrwx 1 root root 0 02-23 15:01 b
-rwxrwxrwx 1 root root 0 02-23 15:01 c
-rwxrwxrwx 1 root root 0 02-23 15:01 d
-rwxrwxrwx 1 root root 0 02-23 15:01 e
数据同步过来,并且权限一致。

rsync 同步参数说明
-vzrtopg里的v是verbose,z是压缩,r是recursive,topg都是保持文件原有属性如属主、时间的参数。
–progress是指显示出详细的进度情况
–delete是指如果服务器端删除了这一文件,那么客户端也相应把文件删除

客户端本地文件上传到服务端:
在/root/test 中创建一个文件,名字为 f

[root@localhost test]# rsync -vzrtopg --delete /root/test/ root@192.168.1.20::test
Password:
building file list ... done
./
f

sent 155 bytes received 44 bytes 79.60 bytes/sec
total size is 0 speedup is 0.00

区别在于将本地/root/test 写到 root@192.168.1.20::test 前,效果就是推送数据至服务器。

去服务端查看,文件被上传。

在客户端下载、上传时,会提示输入密码,可以在执行命令的时候指定密码文件:
首先创建密码文件:
[root@localhost ~]# cat /etc/rsync.passwd
root      //这里直接写密码即可。

[root@localhost ~]# chmod 600 /etc/rsync.passwd    //更改权限,否则会出错。

[root@localhost ~]# rsync -vzrtopg --delete /root/test/ root@192.168.1.20::test --password-file=/etc/rsync.passwd
building file list ... done

sent 129 bytes received 16 bytes 96.67 bytes/sec
total size is 0 speedup is 0.00

通过加上 –password-file=/etc/rsync.passwd 不再提示输入密码,然后通过linux的计划任务,可以定时同步(推送)数据。

PS:

往服务端传文件的时候,记得本地路径一定要规范,比如把/root/test下文件传到服务端,一定要写为/root/test/  不能少了斜杠。否则会在服务端中创建test文件夹。

PPS:

同步的时候会删除本地指定文件夹下的所有文件,不要误删文件。

PPPS:

rsync -vzrtopg –progress –delete root@192.168.1.20::test /root/test

一定要留意远程跟本地文件夹的前后顺序,实现的效果是不一样的。远程主机在前是把远程服务器的数据同步到本地,如果本地文件夹在前等于是推送数据至客户端。

原创文章,转载请注明。本文链接地址: https://www.rootop.org/pages/2134.html

作者:Venus

服务器运维与性能优化

发表回复