Linux系统编程 - 进程异常自动重启
开篇
在Linux平台，自研服务进程通常以守护进程的形式在后台常驻运行。但偶尔也会遇到服务进程异常crash，导致产品基本功能异常，影响恶劣。
解决这种问题，通常两种应对措施：
① 定位crash原因，上传补救措施。
② 后台重新拉起异常进程，避免影响基本功能。
对于措施①，系统部署coredump文件，通过gdb解析coredump文件就能很快定位到原因，本篇主要记录下措施②实现流程。
基础概念
守护进程
守护进程(daemon)是一类在后台运行的特殊进程，用于执行特定的系统任务。很多守护进程在系统引导的时候启动，并且一直运行直到系统关闭。另一些只在需要的时候才启动，完成任务后就自动结束。
守护进程的特点是不占用终端，后台运行。在终端只需要在启动进程时加&，即可启动一个守护进程:
$ ./testBin &
僵死进程(zombie)
long long ago，子进程终止后，会在系统中完全消失，父进程无从查询子进程的信息。因此，UNIX设计者们作出一个这样的约定：如果一个子进程在父进程之前结束，内核应该把子进程设置为一个特殊的状态。处于这种状态的进程叫做僵死(zombie)进程。僵死进程只保留一些最小的概要信息，直至父进程获取这些信息，才会完全消失，否则一直保持僵死状态。父进程可通过wait()/waitpid()获取这些状态。
如果父进程先退出，子进程被init接管，子进程退出后init会回收其占用的相关资源。通过终端查看僵死进程(后缀带有<defunct>)：
$ ps -ef | grep defunct
dx 10144 10135 0 18:08 pts/2 00:00:00 [test] <defunct>
设计思路
通过对僵死进程概念的理解：子进程先于父进程结束时，会在系统产生一个僵死进程，直至父进程对其回收。则可以通过这点，实现进程异常crash的重启。
「方案一」
在《Linux系统编程》中，有讲道：当子进程终止时，会发送SIGCHLD至父进程。因此可按如下流程：
- 父进程先创建一个子进程，在子进程中通过
execl拉起需要的bin。此时父进程缓存bin文件对应路径和对应的pid。 - 父进程注册信号
SIGCHLD监听，在处理函数中，通过wait()/waitpid()获取异常子进程的pid。 - 通过pid匹配异常进程对应的bin文件路径，再重新拉起此进程。
「方案二」
进程在启动时，都会在/proc下创建一个对应的目录/proc/[pid]/。可通过监测此路径实现，流程如下：
- 同方案一。
- 获取到子进程的pid后，父进程一直检测
/proc/[pid]是否存在，不存在时，重新拉起进程。
「方案三」
由于waitpid()可以获取所有僵死子进程的pid，因此通过轮询此接口可实现，流程如下：
- 同方案一
- 通过
waitpid()可获取所有僵死子进程的，匹配对应bin路径，重新拉起。
其中，方案一是触发式监测，属于其中最优雅的方法。但是在实测过程中发现，子进程异常终止时，父进程存在小概率收到不到信号SIGCHLD，网上的说法是SIGCHLD不可靠。从而导致监测子进程状态失败，因此将终端触发改为轮询，衍生了方案三。
方案二也是可行的，网上很多也是这么做的。既然有waitpid接口，个人更倾向于方案三。
源码实现
代码同时实现了方案一和方案三，用CONFIG_SUPPORT_SIGCHLD控制。为1时，为方案一实现；为0时，为方案三实现（实测方案一，SIGCHLD偶尔接收不到）。
#define CONFIG_SUPPORT_SIGCHLD 0 // SIGCHLD不可靠。 1: 信号中断 0: 轮询
#define LOG(fmt, args...) printf(fmt, ##args)
#define LOGD(fmt, args...) printf("[%d] %-20s %-4d D: " fmt, getpid(), __FUNCTION__, __LINE__, ##args)
#define LOGE(fmt, args...) printf("[%d] %-20s %-4d E: " fmt, getpid(), __FUNCTION__,__LINE__, ##args)
typedef struct exeInfo {
char path[20];
int times;
} SExeInfo;
typedef std::map<int, shared_ptr<SExeInfo>> TMapPid2Path;
const char PROC_PATH[] = "/proc";
TMapPid2Path pidMap;
static std::mutex sigchildMtx;
static std::condition_variable sigchildCond;
static bool existExeByProc(int pid)
{
struct stat fileStat;
char pidPath[20] = {0};
snprintf(pidPath, sizeof(pidPath), "%s/%d", PROC_PATH, pid);
int ret = lstat(pidPath, &fileStat);
if (ret) {
//LOGD("%s lstat failed. errno = %d (%s)n", pidPath, errno, strerror(errno));
return false;
}
// /proc/pid/ 为目录则当前进程正常
if (S_ISDIR(fileStat.st_mode)) {
return true;
}
return false;
}
static void dumpPidMapInfo(const TMapPid2Path &aMap)
{
LOGD("PID PATH TIME n");
LOGD("----------------------------------n");
for (auto it = aMap.begin(); it != aMap.end(); it) {
LOGD("%-6d %-20s %-2d n", it->first, it->second->path, it->second->times);
}
LOGD("----------------------------------n");
}
static void startExe(const char *pExePath)
{
static int pid = -1;
pid = fork();
if (pid == -1) {
LOGE("fork failed. errno = %d (%s).n", errno, strerror(errno));
} else if (pid == 0) { // 子进程
static int startCount = 0;
LOGD("Pull up %s (%d).n", pExePath, startCount);
execl(pExePath, pExePath);
} else { // 父进程
LOGD("Child fork pid: %d.n", pid);
auto it = pidMap.begin();
for (; it != pidMap.end(); it) {
if (!strncmp(it->second->path, pExePath, strlen(pExePath))) {
LOG("find %s %s.n", it->second->path, pExePath);
break;
}
}
if (it == pidMap.end()) {
shared_ptr<SExeInfo> spInfo = make_shared<SExeInfo>();
strncpy(spInfo->path, pExePath, sizeof(spInfo->path));
spInfo->times = 1;
pidMap.insert(pair<int, shared_ptr<SExeInfo>>(pid, spInfo));
} else {
it->second->times ;
pidMap.insert(pair<int, shared_ptr<SExeInfo>>(pid, it->second));
pidMap.erase(it);
}
}
}
#if CONFIG_SUPPORT_SIGCHLD
static bool sigchildRcv = false;
static void handler(int sig, siginfo_t *si, void *unused)
{
LOGD("Receive sig: %d.n", sig);
sigchildRcv = true;
sigchildCond.notify_one();
}
#endif
// Eg. ./exe /tmp/test_bin
int main(int argc, char *argv[])
{
if (argc < 2) {
LOGE("usage: %s [path].n", argv[0]);
return 0;
}
#if CONFIG_SUPPORT_SIGCHLD
struct sigaction sa;
sigemptyset(&sa.sa_mask);
sa.sa_sigaction = handler;
if (sigaction(SIGCHLD, &sa, NULL) == -1)
{
LOGE("sigaction failed! errno = %d (%s) n", errno, strerror(errno));
}
#endif
for (int i = 1; i < argc; i ) {
startExe(argv[i]);
}
thread th1([&]() {
while(1) {
#if !(CONFIG_SUPPORT_SIGCHLD)
int pid = 0, status = 0;
while( (pid = waitpid(-1, &status, WNOHANG)) > 0) {
if (!existExeByProc(pid) && pidMap.count(pid)) {
startExe(pidMap[pid]->path);
}
}
#else
std::unique_lock<std::mutex> lk(sigchildMtx);
sigchildRcv = false;
sigchildCond.wait(lk, []{
int pid = 0, status = 0;
while( (pid = waitpid(-1, &status, WNOHANG)) > 0) {
if (!existExeByProc(pid) && pidMap.count(pid)) {
startExe(pidMap[pid]->path);
}
}
LOGD("Receive SIGCHLD.n");
return sigchildRcv;
});
lk.unlock();
#endif
dumpPidMapInfo(pidMap);
sleep(1);
}
});
th1.join();
return 0;
}
「测试」
实验bin： /tmp/test为2s crash的bin文件，tmp/lambda正常运行bin。预期: test进程2s挂掉，会被自动拉起；lambda进程正常运行，不受影响。
$ ./exe /tmp/test /tmp/lambda
[12737] startExe 99 D: Child fork pid: 12738.
[12737] startExe 99 D: Child fork pid: 12739.
[12737] dumpPidMapInfo 78 D: PID PATH TIME
[12737] dumpPidMapInfo 79 D: ----------------------------------
[12737] dumpPidMapInfo 81 D: 12738 /tmp/test 1
[12737] dumpPidMapInfo 81 D: 12739 /tmp/lambda 1
[12737] dumpPidMapInfo 83 D: ----------------------------------
[12738] startExe 96 D: Pull up /tmp/test (1).
[12739] startExe 96 D: Pull up /tmp/lambda (1).
[12737] dumpPidMapInfo 78 D: PID PATH TIME
[12737] dumpPidMapInfo 79 D: ----------------------------------
[12737] dumpPidMapInfo 81 D: 12738 /tmp/test 1
[12737] dumpPidMapInfo 81 D: 12739 /tmp/lambda 1
[12737] dumpPidMapInfo 83 D: ----------------------------------
[12737] dumpPidMapInfo 78 D: PID PATH TIME
[12737] dumpPidMapInfo 79 D: ----------------------------------
[12737] dumpPidMapInfo 81 D: 12738 /tmp/test 1
[12737] dumpPidMapInfo 81 D: 12739 /tmp/lambda 1
[12737] dumpPidMapInfo 83 D: ----------------------------------
[12737] startExe 99 D: Child fork pid: 12742.
find /tmp/test /tmp/test.
[12737] dumpPidMapInfo 78 D: PID PATH TIME
[12737] dumpPidMapInfo 79 D: ----------------------------------
[12737] dumpPidMapInfo 81 D: 12739 /tmp/lambda 1
[12737] dumpPidMapInfo 81 D: 12742 /tmp/test 2
[12737] dumpPidMapInfo 83 D: ----------------------------------
[12742] startExe 96 D: Pull up /tmp/test (1).
[12737] dumpPidMapInfo 78 D: PID PATH TIME
[12737] dumpPidMapInfo 79 D: ----------------------------------
[12737] dumpPidMapInfo 81 D: 12739 /tmp/lambda 1
[12737] dumpPidMapInfo 81 D: 12742 /tmp/test 2
[12737] dumpPidMapInfo 83 D: ----------------------------------
[12737] dumpPidMapInfo 78 D: PID PATH TIME
[12737] dumpPidMapInfo 79 D: ----------------------------------
[12737] dumpPidMapInfo 81 D: 12739 /tmp/lambda 1
[12737] dumpPidMapInfo 81 D: 12742 /tmp/test 2
[12737] dumpPidMapInfo 83 D: ----------------------------------
[12737] startExe 99 D: Child fork pid: 12744.
find /tmp/test /tmp/test.
[12737] dumpPidMapInfo 78 D: PID PATH TIME
[12737] dumpPidMapInfo 79 D: ----------------------------------
[12737] dumpPidMapInfo 81 D: 12739 /tmp/lambda 1
[12737] dumpPidMapInfo 81 D: 12744 /tmp/test 3
[12737] dumpPidMapInfo 83 D: ----------------------------------
[12744] startExe 96 D: Pull up /tmp/test (1).
总结
- 在开发阶段，应优先查后台进程异常终止的原因。通常由系统配置生成coredump文件，配合gdb可以快速定位到crash代码行号。
- 至于
方案一偶尔收不到SIGCHLD，缩短处理函数的响应时间，排除信号处理函数不可重入因素，还是存在问题。网上查到的原因此信号不可靠，具体原因尚不清晰。 - 经过此方案，在Linux系统部署用户进程时，加入此方案，能够避免进程异常导致的系统宕机等其他严重问题。
