Rootop 服务器运维与web架构

2015-01-26
发表者 Venus
shell条件判断if中的-a到-z的意思已关闭评论

shell条件判断if中的-a到-z的意思

shell if判断中常用的也就是绿色部分，尾部部分越看越不懂。从百度文库转载。

[ -a FILE ] 如果 FILE 存在则为真。

[ -b FILE ] 如果 FILE 存在且是一个块特殊文件则为真。

[ -c FILE ] 如果 FILE 存在且是一个字特殊文件则为真。

[ -d FILE ] 如果 FILE 存在且是一个目录则为真。

[ -e FILE ] 如果 FILE 存在则为真。

[ -f FILE ] 如果 FILE 存在且是一个普通文件则为真。

[ -g FILE ] 如果 FILE 存在且已经设置了SGID则为真。

[ -h FILE ] 如果 FILE 存在且是一个符号连接则为真。

[ -k FILE ] 如果 FILE 存在且已经设置了粘制位则为真。

[ -p FILE ] 如果 FILE 存在且是一个名字管道(F如果O)则为真。

[ -r FILE ] 如果 FILE 存在且是可读的则为真。

[ -s FILE ] 如果 FILE 存在且大小不为o则为真。

[ -t FD ] 如果文件描述符 FD 打开且指向一个终端则为真。

[ -u FILE ] 如果 FILE 存在且设置了SUID (set user ID)则为真。

[ -w FILE ] 如果 FILE 如果 FILE 存在且是可写的则为真。

[ -x FILE ] 如果 FILE 存在且是可执行的则为真。

[ -O FILE ] 如果 FILE 存在且属有效用户ID则为真。

[ -G FILE ] 如果 FILE 存在且属有效用户组则为真。

[ -L FILE ] 如果 FILE 存在且是一个符号连接则为真。

[ -N FILE ] 如果 FILE 存在 and has been mod如果ied since it was last read则为真。

[ -S FILE ] 如果 FILE 存在且是一个套接字则为真。

[ FILE1 -nt FILE2 ] 如果 FILE1 has been changed more recently than FILE2, or 如果 FILE1 exists and FILE2 does not则为真。

[ FILE1 -ot FILE2 ] 如果 FILE1 比 FILE2 要老, 或者 FILE2 存在且 FILE1 不存在则为真。

[ FILE1 -ef FILE2 ] 如果 FILE1 和 FILE2 指向相同的设备和节点号则为真。

[ -o OPTIONNAME ] 如果 shell选项 “OPTIONNAME” 开启则为真。

[ -z STRING ] “STRING” 的长度为零则为真。

[ -n STRING ] or [ STRING ] “STRING” 的长度为非零 non-zero则为真。

[ STRING1 == STRING2 ] 如果2个字符串相同。 “=” may be used instead of “==” for strict POSIX compliance则为真。

[ STRING1 != STRING2 ] 如果字符串不相等则为真。

[ STRING1 < STRING2 ] 如果 “STRING1” sorts before “STRING2” lexicographically in the current locale则为真。

[ STRING1 > STRING2 ] 如果 “STRING1” sorts after “STRING2” lexicographically in the current locale则为真。

[ ARG1 OP ARG2 ] “OP” is one of -eq, -ne, -lt, -le, -gt or -ge. These arithmetic binary operators return true if “ARG1” is equal to, not equal to, less than, less than or equal to, greater than, or greater than or equal to “ARG2”, respectively. “ARG1” and “ARG2” are integers.

2015-01-21
发表者 Venus
apache反向代理、负载均衡及会话保持已关闭评论

apache反向代理、负载均衡及会话保持

apache的反向代理及负载均衡效率以及配置过程都比nginx麻烦。在这研究apache的负载均衡只是为了对比其它软件的优缺点。
测试过程如下：

查看是否安装proxy模块：
[root@localhost ~]# httpd -M | grep proxy
httpd: Could not reliably determine the server’s fully qualified domain name, using localhost.localdomain for ServerName
Syntax OK
proxy_module (shared)
proxy_balancer_module (shared)
proxy_ftp_module (shared)
proxy_http_module (shared)
proxy_ajp_module (shared)
proxy_connect_module (shared)

查看是否已经加载proxy模块：
[root@localhost ~]# cat /etc/httpd/conf/httpd.conf | grep proxy | grep -v “^#”
LoadModule proxy_module modules/mod_proxy.so
LoadModule proxy_balancer_module modules/mod_proxy_balancer.so
LoadModule proxy_ftp_module modules/mod_proxy_ftp.so
LoadModule proxy_http_module modules/mod_proxy_http.so
LoadModule proxy_ajp_module modules/mod_proxy_ajp.so
LoadModule proxy_connect_module modules/mod_proxy_connect.so

编辑httpd.conf配置文件，添加：

#关闭正向代理
ProxyRequests Off

#添加响应头

1
Header add Set-Cookie "ROUTEID=.%{BALANCER_WORKER_ROUTE}e; path=/" env=BALANCER_ROUTE_CHANGED

#负载均衡
<Proxy balancer://cluster1>
BalancerMember http://192.168.0.153:80 loadfactor=3 route=www1
BalancerMember http://192.168.0.154:80 loadfactor=1 route=www2
ProxySet lbmethod=byrequests stickysession=ROUTEID
</Proxy>

#对监控页面不传到后端服务器
ProxyPass /balancer-manager !

ProxyPass / balancer://cluster1/ nofailover=On
ProxyPassReverse / balancer://cluster1/

#设置监控页
<Location /balancer-manager>
SetHandler balancer-manager
Order Deny,Allow
Allow from all
</Location>

loadfactor 参数：
值越高，响应的服务越多，取值在1到100之间

lbmethod 参数：
lbmethod=byrequests 按请求次数均衡（默认）
lbmethod=bytraffic      按流量均衡
lbmethod=bybusyness 按繁忙程度均衡（总是分配给活跃请求数最少的服务器）

会话保持功能：

route= 设置服务器id
stickysession=ROUTEID 使用服务器ID进行会话保持

apache英文手册，中文版中没有会话保持举例：https://www.rootop.org/ApacheManual/Apache2.2_en_US/mod/mod_proxy_balancer.html

重启apache，测试。

可以看到第二张图中是带着负载均衡给的cookie值去访问服务器，实现会话保持。

PS：
打开页面时，提示服务器500错误，查看日志：
[warn] proxy: No protocol handler was valid for the URL /public/js/jquery.js. If you are using a DSO version of mod_proxy, make sure the proxy submodules are included in the configuration using LoadModule.
原因是ProxyPass / balancer://cluster1/ cluster1后面有个斜杠，而不是”balancer://cluster1″
跟网上大部分说的模块加载没关系。

2015-01-20
发表者 Venus
Apache中Order Allow Deny详解已关闭评论

Apache中Order Allow Deny详解

转自：http://www.cnblogs.com/top5/archive/2009/09/22/1571709.html

本文经原文已删掉部分内容。

Allow和Deny可以用于apache的conf文件或者.htaccess文件中（配合Directory, Location, Files等），用来控制目录和文件的访问授权。

所以，最常用的是：
Order Deny,Allow
Allow from All

注意“Deny,Allow”中间只有一个逗号，也只能有一个逗号，有空格都会出错；单词的大小写不限。上面设定的含义是先设定“先检查禁止设定，没有禁止的全部允许”，而第二句没有Deny，也就是没有禁止访问的设定，直接就是允许所有访问了。这个主要是用来确保或者覆盖上级目录的设置，开放所有内容的访问权。

按照上面的解释，下面的设定是无条件禁止访问：
Order Allow,Deny
Deny from All

如果要禁止部分内容的访问，其他的全部开放：
Order Deny,Allow
Deny from ip1 ip2
或者
Order Allow,Deny
Allow from all
Deny from ip1 ip2

apache会按照order决定最后使用哪一条规则，比如上面的第二种方式，虽然第二句allow允许了访问，但由于在order中allow不是最后规则，因此还需要看有没有deny规则，于是到了第三句，符合ip1和ip2的访问就被禁止了。注意，order决定的“最后”规则非常重要，下面是两个错误的例子和改正方式：

Order Deny,Allow
Allow from all
Deny from domain.org
错误：想禁止来自domain.org的访问，但是deny不是最后规则，apache在处理到第二句allow的时候就已经匹配成功，根本就不会去看第三句。
解决方法：Order Allow,Deny，后面两句不动，即可。

Order Allow,Deny
Allow from ip1
Deny from all
错误：想只允许来自ip1的访问，但是，虽然第二句中设定了allow规则，由于order中deny在后，所以会以第三句deny为准，而第三句的范围中又明显包含了ip1（all include ip1），所以所有的访问都被禁止了。
解决方法一：直接去掉第三句。
解决方法二：
Order Deny,Allow
Deny from all
Allow from ip1

 

下面是测试过的例子：
——————————–
Order deny,allow
allow from all
deny from 219.204.253.8
#全部都可以通行
——————————-
Order deny,allow
deny from 219.204.253.8
allow from all
#全部都可以通行
——————————-
Order allow,deny
deny from 219.204.253.8
allow from all
#只有219.204.253.8不能通行
——————————-
Order allow,deny
allow from all
deny from 219.204.253.8
#只有219.204.253.8不能通行
——————————-
——————————-
Order allow,deny
deny from all
allow from 219.204.253.8
#全部都不能通行
——————————-
Order allow,deny
allow from 219.204.253.8
deny from all
#全部都不能通行
——————————-
Order deny,allow
allow from 219.204.253.8
deny from all
#只允许219.204.253.8通行
——————————-
Order deny,allow
deny from all
allow from 219.204.253.8
#只允许219.204.253.8通行
——————————-
——————————–
Order deny,allow
#全部都可以通行（默认的）
——————————-
Order allow,deny
#全部都不能通行（默认的）
——————————-
Order allow,deny
deny from all
#全部都不能通行
——————————-
Order deny,allow
deny from all
#全部都不能通行
——————————-
对于上面两种情况，如果换成allow from all，则全部都可以通行！
——————————-
Order deny,allow
deny from 219.204.253.8
#只有219.204.253.8不能通行
——————————-
Order allow,deny
deny from 219.204.253.8
#全部都不能通行
——————————-
Order allow,deny
allow from 219.204.253.8
#只允许219.204.253.8通行
——————————-
Order deny,allow
allow from 219.204.253.8
#全部都可以通行
——————————-
——————————-
order deny,allow
allow from 218.20.253.2
deny from 218.20
#代表拒绝218.20开头的IP，但允许218.20.253.2通过；而其它非218.20开头的IP也都允许通过。
——————————-
order allow,deny
allow from 218.20.253.2
deny from 218.20
#和上面的差不多，只是掉换的order语句中的allow、deny先后顺序，但最终结果表示全部都拒绝！

影响最终判断结果的只有两点：

1. order语句中allow、deny的先后顺序；

2. allow、deny语句中各自包含的范围。

PS:

1. 修改完配置后要保存并重启Apache服务才能生效；

2. 开头字母不分大小写；

3. allow、deny语句不分先后顺序，谁先谁后不影响最终判断结果；但都会被判断到；

4. order语句中，“allow,deny”之间“有且只有”一个逗号（英文格式的），而且先后顺序很重要；

5. Apache有一条缺省规则，“order allow,deny”本身就默认了拒绝所有的意思，因为deny在allow的后面；同理，“order deny,allow”本身默认的是允许所有；当然，最终判断结果还要综合下面的allow、deny语句中各自所包含的范围；（也就是说order语句后面可以没有allow、deny语句）

6. allow、deny语句中，第二个单词一定是“from”，否则Apache会因错而无法启动，

7. “order allow,deny”代表先判断allow语句再判断deny语句，反之亦然。

判断原则分4步:

1. 首先判断默认的；

2. 然后判断逗号前的；

3. 最后判断逗号后的；

4. 最终按顺序叠加而得出判断结果。

 

下面是测试过的例子：
——————————–
Order deny,allow
allow from all
deny from 219.204.253.8
#全部都可以通行
——————————-
Order deny,allow
deny from 219.204.253.8
allow from all
#全部都可以通行
——————————-
Order allow,deny
deny from 219.204.253.8
allow from all
#只有219.204.253.8不能通行
——————————-
Order allow,deny
allow from all
deny from 219.204.253.8
#只有219.204.253.8不能通行
——————————-
Order allow,deny
deny from all
allow from 219.204.253.8
#全部都不能通行
——————————-
Order allow,deny
allow from 219.204.253.8
deny from all
#全部都不能通行
——————————-
Order deny,allow
allow from 219.204.253.8
deny from all
#只允许219.204.253.8通行
——————————-
Order deny,allow
deny from all
allow from 219.204.253.8
#只允许219.204.253.8通行
——————————-
Order deny,allow
#全部都可以通行（默认的）
——————————-
Order allow,deny
#全部都不能通行（默认的）
——————————-
Order allow,deny
deny from all
#全部都不能通行
——————————-
Order deny,allow
deny from all
#全部都不能通行
——————————-
对于上面两种情况，如果换成allow from all，则全部都可以通行！
——————————-
Order deny,allow
deny from 219.204.253.8
#只有219.204.253.8不能通行
——————————-
Order allow,deny
deny from 219.204.253.8
#全部都不能通行
——————————-
Order allow,deny
allow from 219.204.253.8
#只允许219.204.253.8通行
——————————-
Order deny,allow
allow from 219.204.253.8
#全部都可以通行
——————————-
order deny,allow
allow from 218.20.253.2
deny from 218.20
#代表拒绝218.20开头的IP，但允许218.20.253.2通过；而其它非218.20开头的IP也都允许通过。
——————————-
order allow,deny
allow from 218.20.253.2
deny from 218.20
#和上面的差不多，只是掉换的order语句中的allow、deny先后顺序，但最终结果表示全部都拒绝！

 

 

 

2015-01-15
发表者 Venus
nginx搭建flv和mp4流媒体服务器已关闭评论

nginx搭建flv和mp4流媒体服务器

准备软件：
nginx-1.6.0.tar.gz
yamdi-1.9.tar.gz

yamdi 是渐进式流支持模块，抓取视频资源关键帧实现播放时的随意拖动效果
下载地址：http://ncu.dl.sourceforge.net/project/yamdi/yamdi/1.9/yamdi-1.9.tar.gz

flv视频可以通过http或rtmp方式发布。这里用http方式。

安装nginx及mp4支持模块和flv模块:
nginx支持mp4模块下载地址：http://h264.code-shop.com/download/nginx_mod_h264_streaming-2.2.7.tar.gz
下载后解压。

安装编译环境：

1
2
3
4
[root@localhost nginx-1.6.0]# yum install -y zlib zlib-devel pcre pcre-devel
[root@localhost nginx-1.6.0]# useradd -s /sbin/nologin www
[root@localhost nginx-1.6.0]# ./configure --prefix=/usr/local/nginx --add-module=../nginx_mod_h264_streaming-2.2.7 --with-http_ssl_module --user=www --group=www --with-http_flv_module --with-http_stub_status_module
[root@localhost nginx-1.6.0]# make && make install

make -f objs/Makefile
make[1]: Entering directory `/root/nginx-1.6.0′
cc -c -pipe -O -W -Wall -Wpointer-arith -Wno-unused-parameter -Werror -g -D_LARGEFILE_SOURCE -DBUILDING_NGINX -I src/core -I src/event -I src/event/modules -I src/os/unix -I objs -I src/http -I src/http/modules -I src/mail \
-o objs/addon/src/ngx_http_h264_streaming_module.o \
../nginx_mod_h264_streaming-2.2.7/src/ngx_http_h264_streaming_module.c
In file included from ../nginx_mod_h264_streaming-2.2.7/src/ngx_http_h264_streaming_module.c:2:
../nginx_mod_h264_streaming-2.2.7/src/ngx_http_streaming_module.c: In function ‘ngx_streaming_handler’:
../nginx_mod_h264_streaming-2.2.7/src/ngx_http_streaming_module.c:158: error: ‘ngx_http_request_t’ has no member named ‘zero_in_uri’
make[1]: *** [objs/addon/src/ngx_http_h264_streaming_module.o] Error 1
make[1]: Leaving directory `/root/nginx-1.6.0′
make: *** [build] Error 2

出现一个错误，解决方法：

编辑/root/nginx_mod_h264_streaming-2.2.7/src/ngx_http_streaming_module.c

[root@localhost src]# vim ngx_http_streaming_module.c

注释掉：
/* TODO: Win32 */
if (r->zero_in_uri)
{
return NGX_DECLINED;
}

重新make通过。

nginx配置文件：
[root@localhost nginx-1.6.0]# grep -v “#” /usr/local/nginx/conf/nginx.conf | grep -v “^$”

worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
server {
listen 80;
server_name localhost;
root /usr/local/nginx/html;

location ~\.flv {
flv;
}

location ~\.mp4$ {
mp4;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}

创建两个视频文件夹/usr/local/nginx/html/flv、/usr/local/nginx/html/mp4 存放视频文件。

安装yamdi实现拖动效果：
[root@localhost yamdi-1.9]# make && make install  #两步即可

给视频添加帧：
[root@localhost flv]# yamdi -i 1.flv -o test.flv  #给1.flv添加关键帧输出为test.flv

找一个flash播放器，下载地址：http://chinaapp-wordpress.stor.sinaapp.com/uploads/2013/08/player.swf   推荐wget方式下载。
测试：
浏览器访问： http://192.168.0.172/player.swf?type=http&file=flv/test.flv

192.168.0.172 #服务器ip地址
player.swf       #flash播放器程序
http                  #用http方式发布
flv                     #为路径
test.flv             #为视频文件

2015-01-13
发表者 Venus
Linux下搭建iSCSI服务器已关闭评论

Linux下搭建iSCSI服务器

这里用esxi虚拟化中的虚拟机测试，添加一块200G的硬盘。
selinux、iptables 关闭

[root@localhost ~]# fdisk -l  #对新硬盘创建分区，不用挂载。

Disk /dev/sdb: 214.7 GB, 214748364800 bytes
255 heads, 63 sectors/track, 26108 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x8d42c5ad

Device Boot Start End Blocks Id System
/dev/sdb1 1 26108 209712478+ 83 Linux

安装scsi target：
[root@localhost ~]# yum install -y scsi-target-utils

配置文件及命令：
/etc/tgt/targets.conf       主配置文档，设置要分享的磁盘
/usr/sbin/tgt-admin       线上查询、删除target 等功能的管理工具
/usr/sbin/tgt-setup-lun 建立target 以及设置分享的磁盘与可使用的用户端等工具软体
/usr/sbin/tgtadm            手动直接管理的管理员工具(可使用配置文档取代)
/usr/sbin/tgtd                 主要提供iSCSI target 服务的主程式
/usr/sbin/tgtimg             建置预计分享的映像档装置的工具(以映像档模拟磁盘)

编辑配置文件：
[root@localhost ~]# vi /etc/tgt/targets.conf

1
2
3
4
5
6
default-driver iscsi
<target iqn.2015-01.org.rootop:scsi1>
backing-store /dev/sdb1
initiator-address 192.168.0.16
incominguser admin admin123456789
</target>

target                      #目标名称
backing-store       #存储设备
initiator-address #限制来源IP
incominguser       #身份认证

重启tgtd服务：
[root@localhost ~]# service tgtd restart
[root@localhost ~]# chkconfig tgtd on

查看iscsi信息：

客户端挂载：