Rootop 服务器运维与web架构

2018-11-13
发表者 Venus
redis实现分布式锁已关闭评论

redis实现分布式锁

以下为测试分布式锁的实现方法。

场景:
比如50个人向B转账,B的余额当前为0,转50次,每次1元,理论来说B的余额应该为50元。
当在高并发的情况下,那么最终结果就不一定是50了。

现在有张表名为balance,3个字段id(自增),name(姓名),balance(余额)

现在用php模拟一下简单的转账操作。

<?php header("Content-type =>  text/html; charset=utf-8");
// session start
define("SESSION_ON", true);

// define project's config
define("CONFIG", '/conf/web.php');

// debug switch
define("DEBUG", true);

// include framework entrance file
include('../common.php');

use pt\framework\debug\console as debug;
use pt\framework\template as template;
use pt\tool\page as page;
use pt\framework\db as db;

include(COMMON_PATH.'web_func.php');

$db = db::init();

// 查询B用户余额
$balance = "select balance from balance where id = 1;";
$balance = $db -> prepare($balance) -> execute();
$balance = $balance[0]['balance'];

// B余额加1
$sql = "update balance set balance = :balance + 1 where id = 1;";
$rs = $db -> prepare($sql) -> execute(array(':balance' => $balance));

使用jmeter并发50测试且50个请求全部成功。去查看数据库。

可以看到数据库中balance字段值为44,不是理论的50元。
原因就是在高并发情况下出现了问题。
比如有2个请求同时从数据库中获得了一样的余额,比如1,第一个请求先进行了update操作但是还没结束,
第二个请求发现第一个请求正在更新数据库,第一个修改请求会将balance表的id=1这条数据处于行锁状态(innodb引擎+索引才能实现行锁)。
这样第二个请求就处于等待状态,等待第一个请求update完成并释放行锁后,再更新id=1的数据,问题来了。
第一个请求已经将余额修改为2,第二个请求也把余额改为2了。(其实并没有真正更新,发现一样就不改了,在sqlyog中会提示(0 row(s) affected),影响了0行)
(完整的转账应该至少3条记录要通过事务更新,from减,to加,插入资金流水表)

现在为了解决这个问题,引入redis,通过setnx这个方法实现,具体解释请百度。
当redis中存在to(我这里把to的用户id做为key)这个key时,则停止转账。

<?php header("Content-type =>  text/html; charset=utf-8");
// session start
define("SESSION_ON", true);

// define project's config
define("CONFIG", '/conf/web.php');

// debug switch
define("DEBUG", true);

// include framework entrance file
include('../common.php');

use pt\framework\debug\console as debug;
use pt\framework\template as template;
use pt\tool\page as page;
use pt\framework\db as db;

include(COMMON_PATH.'web_func.php');

$db = db::init();

$to = 1;  // 用户id做为key

try
{
    $redis = new Redis();
    $redis -> connect('127.0.0.1', 6379);
    $redis -> auth('111111');
    $connected = $redis -> ping();
}
catch(Exception $e)
{
    echo '连接失败:' . $e -> getMessage();
    exit;
}

// 获取用户余额
$balance = "select balance from balance where id = 1;";
$balance = $db -> prepare($balance) -> execute();
$balance = $balance[0]['balance'];

$expire = 60;  // key超时时间
$key = $to;
$content = 'running';
$rs = $redis -> setnx($key, $content);

if ($rs === true) // 加锁
{
    $redis -> expire($key, $expire);  // 设置key超时时间,防止某个机器加锁以后挂掉造成key死锁(一直存在)。
    $sql = "update balance set balance = :balance + 1 where id = 1;";
    $rs = $db -> prepare($sql) -> execute(array(':balance' => $balance));

    if ($rs === false)
    {
        echo 'add balance failed';
    }
    else
    {
        echo 'add balance success';
    }

    $redis -> delete($to); // 删除锁
}
else
{
    //echo 'lock false , lock by others' . PHP_EOL;
    //echo 'after ' . $redis -> ttl($key) . 's release';
    header('HTTP/1.1 403 Forbidden');  // 这里输出403错误方便jmeter中查看。实际中可能返回个友好的错误提示,比如请重试。
}

再用jmeter并发50测试。

发现有34个请求成功,16个失败,总共50个请求。
再去看数据库中balance字段。余额为34。


这样就通过redis实现了分布式锁,当有多个服务器做负载均衡时,每次转账都会先请求redis,查这个用户是否存在key,防止出现同一时间转账导致结果错误。
如有错误,请指正。

PS:
另外我觉得也可以通过消息队列实现,排队转账。

2018-11-07
发表者 Venus
Gitlab+jenkins自动构建指定分支已关闭评论

Gitlab+jenkins自动构建指定分支

注意点1:
在jenkins中,源码管理 Git Branches to build 中指定的分支名(比如一个分支名叫simon),在jenkins中手动点击构建时,jenkins拉取的分支为simon。

注意点2:
当在gitlab中配置了web钩子当触发推送事件到jenkins中时,jenkins拉取的分支为git push推送时所在的分支。
比如当前代码在master分支,git push时触发推送事件,jenkins会拉取master分支。
如果当前代码在test分支,git push时触发推送事件,jenkins会拉取test分支。
(通过钩子触发的构建,在 源码管理 – Git – Branches to build 中配置的分支名并不会被jenkins拉取构建)

这样就失去了我的本意(拉取固定分支)。

实现指定分支构建方法:
1、
在jenkins中有个插件名叫 Git Parameter ,安装以后在 参数化构建过程 中会多出一个参数也叫Git Parameter。(具体配置百度搜索即可)
这个可以实现多分支构建,在构建时,并不会立即构建,他会先拉取代码,然后分析有多少分支,并列出来让你手动去选择分支,再去构建。
但是这样就无法实现自动化构建了(必须人工选择)。

2、
我所使用的方法:
构建触发器Build when a change is pushed to GitLab. GitLab webhook URL: http://xxxxxx 这里有个 高级 选项。
选择 Filter branches by name ,然后 Include 里写要构建的分支,比如simon。

PS:
印象里这个webhook地址是需要安装 GitLab Plugin 这个插件才会出现url地址。

这样配置以后当代码推送时,如果推送的分支是simon分支,则会开始自动构建,其它分支推送时则不会触发自动构建。
(当一个分支名为simon2时,也不会构建)

这样就实现指定分支推送自动构建了。

2018-10-19
发表者 Venus
关于mysql视图运维过程中的注意事项已关闭评论

关于mysql视图运维过程中的注意事项

# 今天遇到的问题
mysql备份脚本无法备份,提示错误不能锁表:

mysqldump: Got error: 1045: Access denied for user 'xxx'@'%' (using password: YES) when using LOCK TABLES

在发现问题的前一天删过一个历史遗留账号(备份脚本之前一直是运行正常的)。

在备份脚本加入 --skip-lock-tables 参数不锁表备份,提示错误:
mysqldump: Couldn't execute 'SHOW FIELDS FROM `vm_dataforradarshow`': SELECT command denied to user ''@'%' for column 'prodId' in table '表名已删除' (1143)

排错:
把 SHOW FIELDS FROM `vm_dataforradarshow` 语句放到sql中执行,也报错。这个 vm_dataforradarshow 是一个视图,忽然想起来,视图是有权限的。
里面会包含了是哪个用户创建的,并且在执行视图的时候会用这个用户去执行,结果用户昨天被删掉了,自然执行失败。备份脚本也备份失败。
(因为用的阿里云rds,也怀疑过用户权限问题,创建了一个高权限账号(相当于root),也是备份失败。)

之前遇到的一个问题:
测试环境数据库是user1账户,创建视图也是用user1去创建的。
到正式上,是一个独立的普通用户,比如user2,结果导入sql脚本一直失败,具体错误提示忘记了。
只要把sql脚本里,视图中的user1修改成user2才解决。

避免:
1、开发过程中尽量避免视图使用,毕竟要多耗费一次时间及系统资源。
2、开发测试环境要和正式一致,避免出现我这种账号问题。

 

2018-10-17
发表者 Venus
docker容器及镜像的导出导入已关闭评论

docker容器及镜像的导出导入

1、容器导出导入
# 容器导出为镜像文件
格式为 docker export -o 文件名 容器名
如:
docker export -o aaa.tar aaa

将aaa.tar复制到另一台机器,可以将其导入为镜像。
# 导入镜像文件,并指定镜像名字
格式为 docker import 文件名 镜像名
如:
docker import aaa.tar aaa

2、镜像导出导入
# 导出镜像为文件
格式为 docker save -o 保存镜像文件名 原镜像名
如:
docker save -o aaa.tar aaa

# 导入镜像
格式为 docker load < 镜像文件名
如:
docker load < aaa.tar

2018-10-16
发表者 Venus
配置pip install 安装加速已关闭评论

配置pip install 安装加速

官方下载速度太慢。可以换成国内镜像地址。
临时方法,通过-i参数指定镜像地址(这里用清华大学的)。

临时方法如:

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

永久方法:

linux下,创建 ~/.pip/pip.conf配置文件,内容如下:

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

windows下,在C:\Users\你的当前用户名 目录下创建pip目录,然后创建 pip.ini,内容如下

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple