引言
最近开发一个小功能,用到了队列mcq,启动一个进程消费队列数据,后边发现一个进程处理不过来了,又加了一个进程,过了段时间又处理不过来了......
这种方式每次都要修改crontab,如果进程挂掉了,不会及时的启动,要等到下次crontab执行的时候才会启动。关闭(重启)进程的时候用的是kill,这可能会丢失正在处理的数据,比如下面这个例子,我们假设sleep过程就是处理逻辑,这里为了明显看出效果,将处理时间放大到10s:
<?php $i = 1; while (1) { echo "开始第[{$i}]次循环\n"; sleep(10); echo "结束第[{$i}]次循环\n"; $i++; }
当我们运行脚本之后,等到循环开始之后,给进程发送 kill {$pid}
,默认发送的是编号为15的SIGTERM
信号。假设$i
是从队列拿到的,拿到2的时候,正在处理,我们给程序发送了kill信号,和队列数据丢失一样,问题比较大,因此我要想办法解决这些问题。
开始第[1]次循环 结束第[1]次循环 开始第[2]次循环 [1] 28372 terminated php t.php
nginx进程模型
这时候我想到了nginx,nginx作为高性能服务器的中流砥柱,为成千上万的企业和个人服务,他的进程模型比较经典,如下所示:
管理员通过master进程和nginx进行交互,从/path/to/nginx.pid
读取nginx master进程的pid,发送信号给master进程,master根据不同的信号做出不同的处理,然后反馈信息给管理员。worker是master进程fork出来的,master负责管理worker,不会去处理业务,worker才是具体业务的处理者,master可以控制worker的退出、启动,当worker意外退出,master会收到子进程退出的消息,也会重新启动新的worker进程补充上来,不让业务处理受影响。nginx还可以平滑退出,不丢失任何一个正在处理的数据,更新配置时nginx可以做到不影响线上服务来加载新的配置,这在请求量很大的时候特别有用。
进程设计
看了nginx的进模型,我们完全可以开发一个类似的类库来满足处理mcq数据的需求,做到单文件控制所有进程、可以平滑退出、可以查看子进程状态。不需要太复杂,因为我们处理队列数据接收一定的延迟,做到nginx那样不间断服务比较麻烦,费时费力,意义不是很大。设计的进程模型跟nginx类似,更像是nginx的简化版本。
进程信号量设计
信号量是进程间通讯的一种方式,比较简单,单功能也比较弱,只能发送信号给进程,进程根据信号做出不同的处理。
master进程启动的时候保存pid到文件/path/to/daeminze.pid
,管理员通过信号和master进程通讯,master进程安装3种信号,碰到不同的信号,做出不同的处理,如下所示:
SIGINT => 平滑退出,处理完正在处理的数据再退出 SIGTERM => 暴力退出,无论进程是否正在处理数据直接退出 SIGUSR1 => 查看进程状态,查看进程占用内存,运行时间等信息
master进程通过信号和worker进程通讯,worker进程安装了2个信号,如下所示:
SIGINT => 平滑退出 SIGUSR1 => 查看worker进程自身状态
为什么worker进程只安装2个信号呢,少了个SIGTERM
,因为master进程收到信号SIGTERM
之后,向worker进程发送SIGKILL
信号,默认强制关闭进程即可。
worker进程是通过master进程fork出来的,这样master进程可以通过pcntl_wait
来等待子进程退出事件,当有子进程退出的时候返回子进程pid,做处理并启动新的进程补充上来。
master进程也通过pcntl_wait
来等待接收信号,当有信号到达的时候,会返回-1
,这个地方还有些坑,在下文中会详细讲。
PHP中有2种信号触发的方式,第一种方式是declare(ticks = 1);
,这种效率不高,Zend每执行一次低级语句,都会去检查进程中是否有未处理的信号,现在已经很少使用了,PHP 5.3.0
及之前的版本可能会用到这个。
第二种是通过pcntl_signal_dispatch
来调用未处理的信号,PHP 5.4.0
及之后的版本适用,可以巧妙的将该函数放在循环中,性能上基本没什么损失,现在