前面介绍了企业常用服务 NFS 、 FTP 、 DHCP 、DNS 、Samba 、lsyncd 、Postfix 、Squid 、Varnish 、expect 相关的知识点,今天我将详细的为大家介绍进程管理工具 Supervisor相关知识,希望大家能够从中收获多多!如有帮助,请点在看、转发朋友圈支持一波!!!
Supervisor 进程管理工具
supervisor是一个进程管理工具,使用 python 开发的一个 C/S 服务,是 Linux/Unix 系统下的一个进程管理工具,可以很方便的监听、启动、停止、重启一个或多个进程。用 supervisor 管理的进程,当一个进程意外被杀死,supervisor监听到进程死后,会自动将其重启启动,这样我们就很方便的实现了进程的自动恢复功能。
supervisord管理的进程必须由supervisord来启动,并且管理的程序必须要是非Daemon程序,Supervisor会帮你把它转化为Daemon程序。比如想要使用Supervisor来管理Nginx进程,就必须在Nginx配置文件中加入 daemon off让Nginx以非Daemon方式运行。
supervisor服务运行环境说明
supervisor可以运行在大多数类unix系统,但是不能运行在任何windows系统,supervisor运行在python环境中,可以在python2(2.7)版本上工作、python3(3.4)版本上工作、以及更高python版本上。
Supervisor 的特点
简单
Supervisor 通过配置一个简单易学的ini
风格的配置文件进行配置。他提供了许多单进程的选项,使得自动重启失败的进程和自动日志轮换变革更加轻松。
集中化
Supervisor 提供了一个统一的地方来启动、停止和监控你的进程。进程可以单独控制,也可以分组控制。通过配置 Supervisor,你可以使用本地命令、远程命令或者可视化界面来管理你的进程。
高效
Supervisor 通过 fork/exec 来启动子进程。子进程没有守护进程,所以当进程终止时,操作系统会立即向 Supervisor 发出信号,这与某些依赖麻烦的 PID 文件和定期轮询来重新启动失败进程的解决方案有所不同。
可扩展
Supervisor 有一个简单的事件通知协议,用任何语言编写的程序都可以用来监视它,它还有一个用于控制的 XML-RPC 接口,并且也留了一个 python 切点,python 开发人员可以很容易的对他进行扩展。
兼容性
Supervisor 适用于除了 windows 之外的任何系统,比如:Linux, Mac OS X, Solaris, 和 FreeBSD。它完全用 Python 编写,因此安装不需要 C 编译器。
稳定性
虽然目前 Supervisor 的开发非常活跃,但它并不是新软件。Supervisor 已经存在多年,并且已经在许多服务器上使用。
Supervisor 组件
supervisord
supervisord 是 Supervisor 服务名。它负责启动子进程,响应来自客户端的命令,重启崩溃或者已退出的子进程,记录子进程标准输出和错误输出,以及生成和处理与子进程生命周期中对应的事件。配置文件一般位于/etc/supervisord.conf
中。
supervisorctl
supervisorctl 是 Supervisor 提供的命令行客户端,它为 supervisord 提供了一个类似于 shell 的接口。通过 supervisorctl,用户可以连接到不同的 supervisord 进程、获取supervisord 控制的子进程的状态、停止和启动子进程以及获取正在运行的 supervisord 进程的列表。命令行客户端通过 UNIX 套接字或 Internet (TCP) 套接字与服务器进行通信。
Web Server
当我们配置了inet_http_server
之后,就可以通过浏览器访问http://localhost:9001/
查看和控制进程的状态。
XML-RPC 接口
为 Web UI 提供服务的同一 HTTP 服务器提供 XML-RPC 接口,可用于询问和控制管理程序及其运行的程序。请参阅 XML-RPC API 文档。
Supervisor 安装
Supervisor 可以运行在 Linux、Mac OS X 上,如前所述,,supervisor 是 Python 编写的, 所以安装起来也很方便, 可以直接用pip或是用yum安装, 如果是 Ubuntu 系统, 还可以使用 apt-get
安装:
$ pip install supervisor
$ yum install supervisor
$ sudo apt-get install supervisor
配置
Supervisor 相当强大, 提供了很丰富的功能, 不过大部分情况下只需要用到其中一小部分。安装完成之后, 可以编写配置文件, 来满足自己的需求。为了方便, 一般把配置分成两部分: supervisord本身的配置(也相当于全局配置)和待管理的应用程序自己的配置。
supervisor 是一个C/S模型的程序, supervisord
是server端, 对应的有client端supervisorctl
。
supervisord的配置及启动
首先来看 supervisord 的配置文件。安装完supervisor之后, 可以运行echo_supervisord_conf
命令输出默认的配置项, 也可以将这些输出重定向到一个配置文件里作为模板:
去除里面大部分注释和“不相关”的部分, 我们可以先看这些配置:
代码语言:javascript复制[unix_http_server]
file=/tmp/supervisor.sock ; UNIX socket 文件, supervisorctl 会使用
;chmod=0700 ; socket 文件的 mode, 默认是 0700
;chown=nobody:nogroup ; socket 文件的 owner, 格式: uid:gid
;[inet_http_server] ; HTTP 服务器, 提供 web 管理界面
;port=127.0.0.1:9001 ; Web 管理后台运行的 IP 和端口, 如果开放到公网, 需要注意安全性
;username=user ; 登录管理后台的用户名
;password=123 ; 登录管理后台的密码
[supervisord]
logfile=/tmp/supervisord.log ; 日志文件, 默认是 $CWD/supervisord.log
logfile_maxbytes=50MB ; 日志文件大小, 超出会 rotate, 默认 50MB
logfile_backups=10 ; 日志文件保留备份数量默认 10
loglevel=info ; 日志级别, 默认 info, 其它: debug,warn,trace
pidfile=/tmp/supervisord.pid ; pid 文件
nodaemon=false ; 是否在前台启动, 默认是 false, 即以 daemon 的方式启动
minfds=1024 ; 可以打开的文件描述符的最小值, 默认 1024
minprocs=200 ; 可以打开的进程数的最小值, 默认 200
; the below section must remain in the config file for RPC
; (supervisorctl/web interface) to work, additional interfaces may be
; added by defining them in separate rpcinterface: sections
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
[supervisorctl]
; 通过 UNIX socket 连接 supervisord, 路径与 unix_http_server 部分的 file 一致
serverurl=unix:///tmp/supervisor.sock
通过 HTTP 的方式连接 supervisord
;serverurl=http://127.0.0.1:9001 ;
; 包含其他的配置文件, 即待管理的应用程序各自的配置, 可以是对这个文件而言的相对路径.
[include]
; 可以是 *.conf 或 *.ini
files = relative/directory/*.ini
我们把上面这部分配置保存到/etc/supervisord.conf(或其他任意有权限访问的文件), 然后启动 supervisord(通过-c选项指定配置文件路径, 如果不指定会按照这个顺序查找配置文件: CWD/supervisord.conf, CWD/etc/supervisord.conf, /etc/supervisord.conf):
代码语言:javascript复制$ supervisord -c /etc/supervisord.conf
应用程序配置
上面我们已经把 supervisrod 运行起来了, 但是还没有被管理的进程. 现在可以添加我们要管理的进程的配置文件. 可以把所有配置项都写到 /etc/supervisord.conf
文件里, 但并不推荐这样做, 而是通过 include 的方式把不同的程序(组)写到不同的配置文件里。
为了举例, 我们新建一个目录/etc/supervisor.d/
用于存放这些配置文件, 相应的, 把/etc/supervisord.conf
里include
部分的的配置修改一下:
[include]
files = /etc/supervisor/*.conf
假设有个用 Python 和 Flask 框架编写的web应用, 取名usercenter
, 用gunicorn做web服务器. 工程目录位于/home/leon/projects/usercenter
, gunicorn
配置文件为gunicorn.py
, WSGI callable
是wsgi.py
里的app属性. 所以直接在命令行启动该web应用的方式可能是这样的:
$ cd /home/leon/projects/usercenter
$ gunicorn -c gunicorn.py wsgi:app
现在编写一份配置文件, 让supervisord
管理这个进程(需要注意: 用 supervisord 管理时, gunicorn
自己的daemon
选项需要设置为False
):
[program:usercenter]
; 程序的启动目录, 某些应用程序必需要进入到工程目录启动才可以, 因为某些模块是工程自定义的, 并未加入到系统中的模块搜索路径中.
directory = /home/leon/projects/usercenter
; 启动命令, 可以看出与手动在命令行启动的命令是一样的
command = gunicorn -c gunicorn.py wsgi:app
autostart = true ; 在 supervisord 启动的时候此web应用也自动启动
startsecs = 5 ; 启动 5 秒后没有异常退出, 就当作已经正常启动了
autorestart = true ; 程序异常退出后自动重启
startretries = 3 ; 启动失败自动重试次数, 默认是 3
user = leon ; 用哪个用户启动
redirect_stderr = true ; 把 stderr 重定向到 stdout, 默认 false
stdout_logfile_maxbytes = 20MB ; stdout 日志文件大小, 默认 50MB
stdout_logfile_backups = 20 ; stdout 日志文件备份数
; stdout 日志文件, 需要注意当指定目录不存在时无法正常启动, 所以需要手动创建目录(supervisord 会自动创建日志文件)
stdout_logfile = /var/log/usercenter.log
; 可以通过 environment 来添加需要的环境变量, 一种常见的用法是修改 PYTHONPATH
; environment=PYTHONPATH=$PYTHONPATH:/path/to/somewhere
一份supervisord
需要的配置文件至少需要一个 [program:x]
部分的配置, 来告诉supervisord
需要管理那个进程. [program:x]
块中的x
表示进程名称, 可以自定义, 这个值会在客户端(supervisorctl
或web界面)显示, 在supervisorctl
中可以通过这个值来对程序进行start
、restart
、stop
等操作。
客户端操作-supervisorctl
supervisorctl
是supervisord
的一个命令行客户端工具, 用以查看被管理的应用程序列表, 状态, 及对其执行操作等. 执行此命令时需要指定与supervisord
使用同一份配置文件, 否则与supervisord
一样按照顺序查找配置文件。
$ supervisorctl -c /etc/supervisord.conf
上面这个命令会进入supervisorctl的shell界面, 然后可以执行不同的命令了:
代码语言:javascript复制status # 查看程序状态
stop usercenter # 关闭 usercenter 程序
start usercenter # 启动 usercenter 程序
restart usercenter # 重启 usercenter 程序
reread # 读取有更新(增加)的配置文件, 不会启动新添加的程序
update # 重启配置文件修改过的程序
上面这些子命令都有相应的输出, 除了进入supervisorctl
的shell界面, 也可以直接在终端运行:
## 初始启动Supervisord, 启动、管理配置中设置的进程.
$ supervisord
## 停止某一个进程(programxxx), programxxx为[program:chatdemon]里配置的值, 这个示例就是chatdemon.
$ supervisorctl stop programxxx
## 启动某个进程
$ supervisorctl start programxxx
## 重启某个进程
$ supervisorctl restart programxxx
## 停止全部进程, 注: start、restart、stop都不会载入最新的配置文件.
$ supervisorctl stop all
## 载入最新的配置文件, 停止原有进程并按新的配置启动、管理所有进程.
$ supervisorctl reload
## 根据最新的配置文件, 启动新配置或有改动的进程, 配置没有改动的进程不会受影响而重启.
$ supervisorctl update
## 重启所有属于名为groupworker这个分组的进程(start,restart同理)
$ supervisorctl stop groupworker
其他
除了supervisorctl
之外, 还可以配置supervisrod
启动web界面执行管理操作, 这个web后台使用Basic Auth
的方式进行身份认证。
除了单个进程的控制, 还可以配置group, 进行分组管理。
经常查看日志文件, 包括supervisord
的日志和各个pragram
的日志文件, 程序crash或抛出异常的信息一半会输出到stderr, 可以查看相应的日志文件来查找问题。
supervisor
有很丰富的功能, 还有其他很多项配置, 可以在官方文档:http://supervisord.org/index.html获取更多信息。
Supervisor 配置文件详解
- supervisor 配置文件/etc/supervisord.conf
- 子进程配置文件路径:/etc/supervisord.d/
[unix_http_server]
file=/tmp/supervisor.sock ;UNIX socket 文件,supervisorctl 会使用
;chmod=0700 ;socket文件的mode,默认是0700
;chown=nobody:nogroup ;socket文件的owner,格式:uid:gid
;[inet_http_server] ;HTTP服务器,提供web管理界面
;port=127.0.0.1:9001 ;Web管理后台运行的IP和端口,如果开放到公网,需要注意安全性
;username=user ;登录管理后台的用户名
;password=123 ;登录管理后台的密码
[supervisord]
logfile=/tmp/supervisord.log ;日志文件,默认是 $CWD/supervisord.log
logfile_maxbytes=50MB ;日志文件大小,超出会rotate,默认 50MB,如果设成0,表示不限制大小
logfile_backups=10 ;日志文件保留备份数量默认10,设为0表示不备份
loglevel=info ;日志级别,默认info,其它: debug,warn,trace
pidfile=/tmp/supervisord.pid ;pid 文件
nodaemon=false ;是否在前台启动,默认是false,即以 daemon 的方式启动
minfds=1024 ;可以打开的文件描述符的最小值,默认 1024
minprocs=200 ;可以打开的进程数的最小值,默认 200
[supervisorctl]
serverurl=unix:/
;serverurl=http://127.0.0.1:9001 ; 通过HTTP的方式连接supervisord
; [program:xx]是被管理的进程配置参数,xx是进程的名称
[program:xx]
command=/opt/apache-tomcat-8.0.35/bin/catalina.sh run ; 程序启动命令
autostart=true ; 在supervisord启动的时候也自动启动
startsecs=10 ; 启动10秒后没有异常退出,就表示进程正常启动了,默认为1秒
autorestart=true ; 程序退出后自动重启,可选值:[unexpected,true,false],默认为unexpected,表示进程意外杀死后才重启
startretries=3 ; 启动失败自动重试次数,默认是3
user=tomcat ; 用哪个用户启动进程,默认是root
priority=999 ; 进程启动优先级,默认999,值小的优先启动
redirect_stderr=true ; 把stderr重定向到stdout,默认false
stdout_logfile_maxbytes=20MB ; stdout 日志文件大小,默认50MB
stdout_logfile_backups = 20 ; stdout 日志文件备份数,默认是10
; stdout 日志文件,需要注意当指定目录不存在时无法正常启动,所以需要手动创建目录(supervisord 会自动创建日志文件)
stdout_logfile=/opt/apache-tomcat-8.0.35/logs/catalina.out
stopasgroup=false ;默认为false,进程被杀死时,是否向这个进程组发送stop信号,包括子进程
killasgroup=false ;默认为false,向进程组发送kill信号,包括子进程
;包含其它配置文件
[include]
files = relative/directory
Supervisor 子进程配置文件
给需要管理的子进程编写一个配置文件,放在/etc/supervisor.d/目录下,以.ini作为扩展名,比如:
代码语言:javascript复制[program:demo]
directory = /home/casey/software
command = /home/casey/software/demo
autostart = true
autorestart = false
stderr_logfile = /tmp/demo_stderr.log
stdout_logfile = /tmp/demo_stdout.log
Supervisor 常用命令
代码语言:javascript复制# 读取有更新(增加)的配置文件,不会启动新添加的程序
$supervisorctl reread
# 重启配置文件修改过的程序
$supervisorctl update
# 查看程序状态
$supervisorctl status
# 启动程序 App_name
$supervisorctl start App_name
# 关闭程序 App_name
$supervisorctl stop App_name
# 重启程序 App_name
supervisorctl -c /etc/supervisord.conf restart App_name:
supervisorctl -c /etc/supervisord.conf start App_name:App_name_01
#supervisord **重载配置要用update ,不要用reload!
$supervisorctl restart App_name
以上命令也可以在supervisorctl Shell中执行:
$supervisorctl
supervisor>reread
supervisor> update
supervisor> status
supervisor> start App_name
supervisor> stop App_name
supervisor> restart App_name
Supervisor 进程管理应用实战 Nginx
supervisor服务项目创建:为了演示实现supervisor服务的功能,可以临时部署一个nginx服务程序,对nginx服务的进程进行监控。
supervisor服务项目配置
修改上面说明的supervisord.conf文件,文件最后两行配置信息的注释取消掉,也就是去掉分号信息:
代码语言:javascript复制[include]
files = supervisord.d/*.ini
-- 指定需要加载的程序项目配置文件信息
创建一个测试使用的服务配置文件:nginx.ini
代码语言:javascript复制[root@xiaoQ supervisord.d]# cat nginx.ini
[program:nginx]
directory=/usr/sbin/
command=/usr/sbin/nginx -g 'daemon off;'
autostart=true
autorestart=true
startsecs=3
user=root
stderr_logfile=/tmp/nginx_stderr.log
stdout_logfile=/tmp/nginx_stdout.log
supervisor服务重新启动
编写完supervisor管理的进程服务配置文件后,可以使supervisor服务重新启动,加载编写的服务配置文件;
代码语言:javascript复制# 重启supervisor服务程序
systemctl restart supervisord.service
# 检查对应管理的服务程序是否启动
[root@docker-server supervisord.d]# ps -ef|grep nginx
root 13338 13317 0 22:12 ? 00:00:00 nginx: master process /usr/sbin/nginx -g daemon off;
nginx 13339 13338 0 22:12 ? 00:00:00 nginx: worker process
nginx 13340 13338 0 22:12 ? 00:00:00 nginx: worker process
nginx 13341 13338 0 22:12 ? 00:00:00 nginx: worker process
nginx 13342 13338 0 22:12 ? 00:00:00 nginx: worker process
supervisor服务修复测试
尝试杀掉nginx服务程序,模拟企业服务异常情况崩溃,查看supervisor服务是否能够自动重启nginx程序:
代码语言:javascript复制# 尝试模拟杀死进程
[root@docker-server supervisord.d]# kill 13338
-bash: kill: (13338) - No such process
# 查询nginx服务进程是否可以自动重启
[root@docker-server supervisord.d]# ps -ef|grep nginx
root 13346 13317 0 22:16 ? 00:00:00 nginx: master process /usr/sbin/nginx -g daemon off;
nginx 13347 13346 0 22:16 ? 00:00:00 nginx: worker process
nginx 13348 13346 0 22:16 ? 00:00:00 nginx: worker process
nginx 13349 13346 0 22:16 ? 00:00:00 nginx: worker process
nginx 13350 13346 0 22:16 ? 00:00:00 nginx: worker process
-- 可以根据重启服务进程号信息可知,nginx服务已经实现了重启
参考链接:https://www.cnblogs.com/liulianzhen99 /articles/17664727.html https://blog.csdn.net/ wang11876/article/details/131268553
推荐阅读 点击标题可跳转
2023 年华为正式员工工资一览表!
郑州最最最牛逼的 IT 公司全在这了!
离职前!这些一定要删得干干净净!
腾讯最新宣布:1546.25 亿!
轰然倒塌!3400 亿巨头申请破产
使用Kubeadm搭建K8s集群,一次性成功!
PS:因为公众号平台更改了推送规则,如果不想错过内容,记得读完点一下“在看”,加个“星标”,这样每次新文章推送才会第一时间出现在你的订阅列表里。点“在看”支持我们吧!