Rootop 服务器运维与web架构

2014-02-26
发表者 Venus
暂无评论

redhat显示完整主机名

在redhat安装时定义了一个长主机名,登陆到shell中显示并不完整:

login as: root
root@192.168.1.30’s password:
Last login: Thu Feb 27 06:37:00 2014 from 192.168.1.103
[root@centos-6 ~]#

这就需要修改系统变量:
[root@centos-6 ~]# export PS1=”[\u@\H \W]\\$”
[root@centos-6.5-x64 ~]$

变为完整主机名,可以将其加入到.bashrc中,每次登陆shell后就无需再次手动执行。

# .bashrc

# User specific aliases and functions

alias rm='rm -i'
alias cp='cp -i'
alias mv='mv -i'
alias vi=vim

export PS1="[\u@\H \W]\\$"

# Source global definitions
if [ -f /etc/bashrc ]; then
 . /etc/bashrc
fi

鸟哥的资料:
PS1:(提示字元的設定)

這是 PS1 (數字的 1 不是英文字母),這個東西就是我們的『命令提示字元』喔! 當我們每次按下 [Enter] 按鍵去執行某個指令後,最後要再次出現提示字元時, 就會主動去讀取這個變數值了。上頭 PS1 內顯示的是一些特殊符號,這些特殊符號可以顯示不同的資訊, 每個 distributions 的 bash 預設的 PS1 變數內容可能有些許的差異,不要緊,『習慣你自己的習慣』就好了。 你可以用 man bash (註3)去查詢一下 PS1 的相關說明,以理解底下的一些符號意義。

\d :可顯示出『星期 月 日』的日期格式,如:”Mon Feb 2″
\H :完整的主機名稱。舉例來說,鳥哥的練習機為『www.vbird.tsai』
\h :僅取主機名稱在第一個小數點之前的名字,如鳥哥主機則為『www』後面省略
\t :顯示時間,為 24 小時格式的『HH:MM:SS』
\T :顯示時間,為 12 小時格式的『HH:MM:SS』
\A :顯示時間,為 24 小時格式的『HH:MM』
\@ :顯示時間,為 12 小時格式的『am/pm』樣式
\u :目前使用者的帳號名稱,如『root』;
\v :BASH 的版本資訊,如鳥哥的測試主機版本為 3.2.25(1),僅取『3.2』顯示
\w :完整的工作目錄名稱,由根目錄寫起的目錄名稱。但家目錄會以 ~ 取代;
\W :利用 basename 函數取得工作目錄名稱,所以僅會列出最後一個目錄名。
\# :下達的第幾個指令。
\$ :提示字元,如果是 root 時,提示字元為 # ,否則就是 $ 囉~

鸟哥链接:
http://linux.vbird.org/linux_basic/0320bash.php#set

2014-02-25
发表者 Venus
暂无评论

inotify+rsync实现实时同步

原文:http://ixdba.blog.51cto.com/2895551/580280/
建议看看博主的书,<<高性能linux服务器构建实战 运维监控、性能调优与集群应用>>

rsync的优点与不足

与传统的cp、tar备份方式相比,rsync具有安全性高、备份迅速、支持增量备份等优点,通过rsync可以解决对实时性要求不高的数据备份需求,例如定期的备份文件服务器数据到远端服务器,对本地磁盘定期做数据镜像等。

随着应用系统规模的不断扩大,对数据的安全性和可靠性也提出的更好的要求,rsync在高端业务系统中也逐渐暴露出了很多不足,首先,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输。如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分,这是非常低效的方式。其次,rsync不能实时的去监测、同步数据,虽然它可以通过linux守护进程的方式进行触发同步,但是两次触发动作一定会有时间差,这样就导致了服务端和客户端数据可能出现不一致,无法在应用故障时完全的恢复数据。基于以上原因,rsync+inotify组合出现了!

Inotify
是一种强大的、细粒度的、异步的文件系统事件监控机制,linux内核从2.6.13起,加入了Inotify支持,通过Inotify可以监控文件系统中添加、删除,修改、移动等各种细微事件,利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而inotify-tools就是这样的一个第三方软件。
在上面章节中,我们讲到,rsync可以实现触发式的文件同步,但是通过crontab守护进程方式进行触发,同步的数据和实际数据会有差异,而inotify可以监控文件系统的各种变化,当文件有任何变动时,就触发rsync同步,这样刚好解决了同步数据的实时性问题。

由于inotify特性需要Linux内核的支持,在安装inotify-tools前要先确认Linux系统内核是否达到了2.6.13以上,如果Linux内核低于2.6.13版本,就需要重新编译内核加入inotify的支持,也可以用如下方法判断,内核是否支持inotify:

[root@localhost ~]# ll /proc/sys/fs/inotify
总计 0
-rw-r–r– 1 root root 0 02-24 05:04 max_queued_events
-rw-r–r– 1 root root 0 02-24 05:04 max_user_instances
-rw-r–r– 1 root root 0 02-24 05:04 max_user_watches

如果有上面三项输出,表示系统已经默认支持inotify,接着就可以开始安装inotify-tools。

下载inotify-tools:
http://cloud.github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz
最新版本可从github上寻找。

安装inotify:

[root@localhost ~]# tar zxvf inotify-tools-3.14.tar.gz
[root@localhost ~]# cd inotify-tools-3.14
[root@localhost inotify-tools-3.14]# ./configure --prefix=/usr/local/inotify
[root@localhost inotify-tools-3.14]# make && make install

[root@localhost inotify-tools-3.14]# cd
[root@localhost ~]# ll /usr/local/inotify/bin/
总计 92
-rwxr-xr-x 1 root root 47104 02-24 02:29 inotifywait
-rwxr-xr-x 1 root root 43434 02-24 02:29 inotifywatch

inotify-tools安装完成后,会生成inotifywait和inotifywatch两个指令,其中,inotifywait用于等待文件或文件集上的一个特定事件,它可以监控任何文件和目录设置,并且可以递归地监控整个目录树。
inotifywatch用于收集被监控的文件系统统计数据,包括每个inotify事件发生多少次等信息。

inotify定义了下列的接口参数,可以用来限制inotify消耗kernel memory的大小。由于这些参数都是内存参数,因此,可以根据应用需求,实时的调节其大小。下面分别做简单介绍。
/proc/sys/fs/inotify/max_queued_evnets
表示调用inotify_init时分配给inotify instance中可排队的event的数目的最大值,超出这个值的事件被丢弃,但会触发IN_Q_OVERFLOW事件。
/proc/sys/fs/inotify/max_user_instances
表示每一个real user ID可创建的inotify instatnces的数量上限。
/proc/sys/fs/inotify/max_user_watches
表示每个inotify instatnces可监控的最大目录数量。如果监控的文件数目巨大,需要根据情况,适当增加此值的大小,例如:
echo 30000000 > /proc/sys/fs/inotify/max_user_watches

inotifywait相关参数
Inotifywait是一个监控等待事件,可以配合shell脚本使用它,下面介绍一下常用的一些参数:
-m, 即–monitor,表示始终保持事件监听状态。
-r, 即–recursive,表示递归查询目录。
-q, 即–quiet,表示打印出监控事件。
-e, 即–event,通过此参数可以指定要监控的事件,常见的事件有modify、delete、create、attrib等。
更详细的请参看man inotifywait。

实例:
服务器环境:
server1 : 192.168.1.20
server2 : 192.168.1.21
皆为:rhel5.5_x64 2.6.18-194.el5

要求两台服务器,数据实时同步。在真实环境中可能是要求两台服务器互相实时同步。这里先不做此测试,仅测试实时同步。
首先我在server1中做好rsync,发布需要同步的文件夹,充当客户端。server2为发布机器,server2中有数据更新的话同步到server1中。
server1 rsync配置:
[root@localhost ~]# vi /etc/rsyncd.conf

strict modes = yes
uid = root
gid = root
port = 873
hosts allow = 192.168.1.21
hosts deny = 0.0.0.0/32
use chroot = no
max connections = 10
timeout = 10
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/logrsyncd.log

[web]
path = /var/www/html
ignore erros
read only = no
write only = no
list = no
auth users = root
secrets file = /etc/rsync.passwd

[root@localhost ~]# vi /etc/rsync.passwd

root:root

启动xinetd,rsync。

server2 下载inotify-tools与rsync并安装。安装过程略过。
编辑密码认证配置文件 /etc/rsync.passwd 方便略过密码输入。添加一行:
root     //这个地方是rsync客户端用户的密码

保存退出。
inotify+rsync同步脚本 vi ino_rsy.sh :

#!/bin/bash
DESTHOST=192.168.1.20
DESTHOSTDIR=/var/www/html/
SRCDIR=/root/test/

/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $SRCDIR \
| while read files

do

rsync -avz --delete --password-file=/etc/rsync.passwd $SRCDIR root@${DESTHOST}::web
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done

参数介绍:

--timefmt:指定时间的输出格式。
--format:指定变化文件的详细信息。
两个参数一般配合使用,通过指定输出格式,输出类似与:

[root@localhost ~]# cat /tmp/rsync.log
24/02/14 06:43 /root/test/abcCREATE,ISDIR was rsynced
24/02/14 06:45 /root/test/abc/testfileCREATE was rsynced
24/02/14 06:45 /root/test/abc/testfileATTRIB was rsynced
24/02/14 06:46 /root/test/abc/testfileMODIFY was rsynced

这个脚本的作用就是通过inotify监控文件目录的变化,进而触发rsync进行同步操作,由于这个过程是一种主动触发操作,通过系统内核完成的,所以,比起那些遍历整个目录的扫描方式,效率要高很多。
有时会遇到这样的情况:向inotify监控的目录(这里是/root/test/)写入一个很大文件时,由于写入这个大文件需要一段时间,此时inotify就会持续不停的输出该文件被更新的信息, 这样就会持续不停的触发rsync去执行同步操作,占用了大量系统资源,那么针对这种情况,最理想的做法是等待文件写完后再去触发rsync同步。 在这种情况下,可以修改inotify的监控事件,
即:-e close_write,delete,create,attrib

给予脚本执行权限,放到后台运行即可。可添加到系统自启动中后台运行。

测试:
在server2中的/root/test/下创建、删除文件等,去server1的/var/www/html/下确定是否同步。

PS:
在实际多台web服务器中,需要对服务器之间互相进行同步。就需要反过来再配置一遍即可。回头测试一下。不过在集群中还是建议用分布式文件系统。

2014-02-23
发表者 Venus
暂无评论

利用rsync同步数据

rsync官网下载地址:
https://rsync.samba.org/ftp/rsync/
目前最新版本:https://rsync.samba.org/ftp/rsync/rsync-3.1.0.tar.gz

Rsync 是一个远程数据同步工具,可通过 LAN/WAN 快速同步多台主机间的文件。 Rsync 本来是用以取代 rcp 的一个工具,它当前由 rsync.samba.org 维护。 Rsync 使用所谓的“ Rsync 演算法 ”来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。运行 Rsync server 的机器也叫 backup server ,一个 Rsync server 可同时备份多个 client 的数据;也可以多个 Rsync server 备份一个 client 的数据。
Rsync 可以搭配 rsh 或 ssh 甚至使用 daemon 模式。 Rsync server 会打开一个 873 的服务通道 (port) ,等待对方 Rsync 连接。连接时, Rsync server 会检查口令是否相符,若通过口令查核,则可以开始进行文件传输。第一次连通完成时,会把整份文件传输一次,下一次就只传送二个文件之间不同的部份。
Rsync 支持大多数的类 Unix 系统,无论是 Linux 、 Solaris 还是 BSD 上都经过了良好的测试。此外,它在 windows 平台下也有相应的版本,比较知名的有 cwRsync 和 Sync2NAS 。
Rsync 的基本特点如下:
1. 可以镜像保存整个目录树和文件系统;
2. 可以很容易做到保持原来文件的权限、时间、软硬链接等;
3. 无须特殊权限即可安装;
4. 优化的流程,文件传输效率高;
5. 可以使用 rcp 、 ssh 等方式来传输文件,当然也可以通过直接的 socket 连接;
6. 支持匿名传输。

核心算法介绍:

假定在名为α和β的两台计算机之间同步相似的文件 A 与 B ,其中α对文件 A 拥有访问权,β对文件 B 拥有访问权。并且假定主机α与β之间的网络带宽很小。那么 rsync 算法将通过下面的五个步骤来完成:
1. β将文件 B 分割成一组不重叠的固定大小为 S 字节的数据块。最后一块可能会比 S 小。
2. β对每一个分割好的数据块执行两种校验:一种是 32 位的滚动弱校验,另一种是 128 位的 MD4 强校验。
3. β将这些校验结果发给α。
4. α通过搜索文件 A 的所有大小为 S 的数据块 ( 偏移量可以任选,不一定非要是 S 的倍数 ) ,来寻找与文件 B 的某一块有着相同的弱校验码和强校验码的数据块。这项工作可以借助滚动校验的特性很快完成。
5. α发给β一串指令来生成文件 A 在β上的备份。这里的每一条指令要么是对文件 B 经拥有某一个数据块而不须重传的证明,要么是一个数据块,这个数据块肯定是没有与文件 B 的任何一个数据块匹配上的。

命令:

rsync 的命令格式可以为以下六种:
rsync [OPTION]… SRC DEST
rsync [OPTION]… SRC [USER@]HOST:DEST
rsync [OPTION]… [USER@]HOST:SRC DEST
rsync [OPTION]… [USER@]HOST::SRC DEST
rsync [OPTION]… SRC [USER@]HOST::DEST
rsync [OPTION]… rsync://[USER@]HOST[:PORT]/SRC [DEST]
对应于以上六种命令格式, rsync 有六种不同的工作模式:
1) 拷贝本地文件。当 SRC 和 DES 路径信息都不包含有单个冒号 “:” 分隔符时就启动这种工作模式。
2) 使用一个远程 shell 程序 ( 如 rsh 、 ssh) 来实现将本地机器的内容拷贝到远程机器。当 DST 路径地址包含单个冒号 “:” 分隔符时启动该模式。
3) 使用一个远程 shell 程序 ( 如 rsh 、 ssh) 来实现将远程机器的内容拷贝到本地机器。当 SRC 地址路径包含单个冒号 “:” 分隔符时启动该模式。
4) 从远程 rsync 服务器中拷贝文件到本地机。当 SRC 路径信息包含 “::” 分隔符时启动该模式。
5) 从本地机器拷贝文件到远程 rsync 服务器中。当 DST 路径信息包含 “::” 分隔符时启动该模式。
6) 列远程机的文件列表。这类似于 rsync 传输,不过只要在命令中省略掉本地机信息即可。

服务端安装(发布端):

[root@localhost ~]# wget -c https://rsync.samba.org/ftp/rsync/rsync-3.1.0.tar.gz
[root@localhost ~]# tar zxvf rsync-3.1.0.tar.gz
[root@localhost ~]# cd rsync-3.1.0
[root@localhost rsync-3.1.0]# ./configure --prefix=/usr/local/rsync
[root@localhost rsync-3.1.0]# make && make install

rsync默认会去 /etc/rsyncd.conf 中找配置信息,手动创建一个。
[root@localhost ~]# vi /etc/rsyncd.conf

strict modes = yes     //检查认证文件
uid = root                   // 指定该模块传输文件时守护进程应该具有的uid
gid = root                   //指定该模块传输文件时守护进程应该具有的gid
port = 873                  //默认端口
hosts allow = 192.168.1.21           //允许连接的主机
hosts deny = 0.0.0.0/32              //拒绝的主机
use chroot = no
max connections = 10
timeout = 10
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log

[test]       //定义发布名称
path = /var/www/html     //指定要同步目录
ignore errors                       //忽略I/O错误
read only = no                    //no客户端可上传文件,yes只读
write only = no                  //no客户端可下载文件,yes不能下载
list = no                               //是否把rsync 服务器上提供同步数据的目录显示
auth users = root              //认证的用户名,如果没有这行,则表明是匿名
secrets file = /etc/rsync.passwd                //指定认证口令文件位置

创建口令文件:
[root@localhost ~]# vi /etc/rsync.passwd

root:root     //冒号前面是用户名,后面是密码

[root@localhost ~]# chmod 600 /etc/rsync.passwd   //改为600权限
[root@localhost ~]# ll /etc/rsync.passwd
-rw——- 1 root root 10 02-23 10:41 /etc/rsync.passwd

编辑/etc/xinetd.d/rsync

注意:(3.1.2版本启动方式发生变化,通过rsync --daemon启动):

[root@localhost rsync-3.1.0]# vi /etc/xinetd.d/rsync

# default: off
# description: The rsync server is a good addition to an ftp server, as it \
# allows crc checksumming etc.
service rsync
{
disable = no    //默认为yes ,改为no
socket_type = stream
wait = no
user = root
server = /usr/bin/rsync
server_args = –daemon
log_on_failure += USERID
}

启动rsync:
[root@localhost ~]# service xinetd restart
[root@localhost ~]# chkconfig rsync on
[root@localhost ~]# chkconfig xinetd on

检查是否启动:
[root@localhost ~]# lsof -i:873
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
xinetd 17330 root 5u IPv4 47554 TCP *:rsync (LISTEN)

记得在iptables中开放873端口或者直接关闭iptables

客户端安装:
跟服务端安装一样,过程略(不需要配置文件 make install 完成即可),现在测试数据同步:

[root@localhost ~]# rsync -vzrtopg --progress --delete root@192.168.1.20::test /root/test
Password:
receiving file list ...
6 files to consider

sent 96 bytes received 156 bytes 11.72 bytes/sec
total size is 0 speedup is 0.00

这里命令的含义是:用root账户从192.168.1.20这台服务器发布的test项目获取数据到本地的/root/test文件夹中。

[root@localhost ~]# ll /root/test/
总计 0
-rwxrwxrwx 1 root root 0 02-23 14:59 a
-rwxrwxrwx 1 root root 0 02-23 15:01 b
-rwxrwxrwx 1 root root 0 02-23 15:01 c
-rwxrwxrwx 1 root root 0 02-23 15:01 d
-rwxrwxrwx 1 root root 0 02-23 15:01 e
数据同步过来,并且权限一致。

rsync 同步参数说明
-vzrtopg里的v是verbose,z是压缩,r是recursive,topg都是保持文件原有属性如属主、时间的参数。
–progress是指显示出详细的进度情况
–delete是指如果服务器端删除了这一文件,那么客户端也相应把文件删除

客户端本地文件上传到服务端:
在/root/test 中创建一个文件,名字为 f

[root@localhost test]# rsync -vzrtopg --delete /root/test/ root@192.168.1.20::test
Password:
building file list ... done
./
f

sent 155 bytes received 44 bytes 79.60 bytes/sec
total size is 0 speedup is 0.00

区别在于将本地/root/test 写到 root@192.168.1.20::test 前,效果就是推送数据至服务器。

去服务端查看,文件被上传。

在客户端下载、上传时,会提示输入密码,可以在执行命令的时候指定密码文件:
首先创建密码文件:
[root@localhost ~]# cat /etc/rsync.passwd
root      //这里直接写密码即可。

[root@localhost ~]# chmod 600 /etc/rsync.passwd    //更改权限,否则会出错。

[root@localhost ~]# rsync -vzrtopg --delete /root/test/ root@192.168.1.20::test --password-file=/etc/rsync.passwd
building file list ... done

sent 129 bytes received 16 bytes 96.67 bytes/sec
total size is 0 speedup is 0.00

通过加上 –password-file=/etc/rsync.passwd 不再提示输入密码,然后通过linux的计划任务,可以定时同步(推送)数据。

PS:

往服务端传文件的时候,记得本地路径一定要规范,比如把/root/test下文件传到服务端,一定要写为/root/test/  不能少了斜杠。否则会在服务端中创建test文件夹。

PPS:

同步的时候会删除本地指定文件夹下的所有文件,不要误删文件。

PPPS:

rsync -vzrtopg –progress –delete root@192.168.1.20::test /root/test

一定要留意远程跟本地文件夹的前后顺序,实现的效果是不一样的。远程主机在前是把远程服务器的数据同步到本地,如果本地文件夹在前等于是推送数据至客户端。

2014-02-23
发表者 Venus
暂无评论

VMware vSphere hypervisor 5.5.0 的安装

最近研究了下vmware的虚拟化产品 vSphere hypervisor
首先从官网下载软件:
VMware-VMvisor-Installer-5.5.0-1331820.x86_64.iso  //虚拟软件
VMware-viclient-all-5.5.0-1281650.exe                            //客户端管理软件

之前在dell R720上安装vmware官方下载下来的安装程序,刻录到u盘中无法安装,启动到usb设备时无法进行,后来查资料说需要从dell官方下载定制版,我这里直接百度搜索到下载资源:
VMware-VMvisor-Installer-5.5.0-1331820.x86_64-Dell_Customized_A01.iso

先不说怎么在dell r720中安装过程。包括刻录到u盘,启动方法等。回头单独补上。
以下是在虚拟机中的安装过程:

加载iso镜像,启动虚拟机,并且你的cpu必须支持虚拟化技术。(创建虚拟机的时候记得选择vmware esx

回车确认

载入安装程序

回车继续

这里是配置虚拟化软件管理员root的密码

确认安装  F11

安装中

安装完成,提示取出安装安装介质重启

重启完成后,如果插有网线,并且有dhcp服务器(路由器)之类,会自动获取ip,通过此ip可以访问web,且可以用VMware-viclient访问虚拟化软件。用来管理虚拟机。F2可以配置IP等信息,可以自己进去看一下,F12是进行关机或者重启,需要输入root密码才可以操作。

简单的安装就此完成。

2014-02-23
发表者 Venus
暂无评论

windows8.1pro中安装.net3.5

因为玩游戏,从控制面板-程序和功能 中添加.net3.5支持,结果需要什么东西,自动从网上下载,可是速度慢的要命,基本不动。遂从网上找到离线安装解决方法:

1、安装虚拟光驱

2、一定要用原始的iso系统镜像,加载到虚拟光驱中,执行下面命令。注意驱动器号,我这里是 I 。如果不用原始镜像,比如,解压出来文件,或者是刻录到光盘、U盘中都会报错,导致无法安装。

C:\Users\Administrator>dism.exe /online /enable-feature /featurename:NetFX3 /Sou
rce:I:\sources\sxs

部署映像服务和管理工具
版本: 6.3.9600.16384

映像版本: 6.3.9600.16384

启用一个或多个功能
[==========================100.0%==========================]
操作成功完成。

C:\Users\Administrator>