subprocess子进程kill后存在僵尸进程的原因及处理方法

之前有个程序的退出代码是

if child.poll() is None:
        try:
            if child.stdin:
                child.stdin.close()
            if child.stdout:
                child.stdout.close()
            if child.stderr:
                child.stderr.close()
            child.terminate()
        except:
            try:
                child.kill()
            except:
                pass
            print 'kill -9 child process'
    else:
        try:
            child.kill()
        except:
            pass

发现无论是使用SIGTERM 还是SIGKILL，child.poll()都一直是None(修改：这个说法是错误的，其实当时是 kill后ps里发现的一直存在僵尸进程直到主进程结束。
subprocess的pool里会调用waitpid,kill后再poll当然已经wait过不会出现僵尸进程了。)
加几个sleep后ps发现，SIGKILL后居然还有个僵尸进程存在，但是退出后子进程也正常结束了
看下面文章可以知道原因
修改代码在terminate或kill后增加代码child.wait()解决问题
还是基础知识不够完善啊,以前只知道fork() 两次来避免僵尸进程，但是不知道僵尸进程产生的原因之一是——"在子进程终止后到父进程调用wait()前的时间里，子进程被称为zombie。"

还有上面的else部分代码是没意义的，可以直接删除掉


参考linux僵尸进程的产生和处理方法

 

僵尸进程的产生和避免,以及wait，waitpid的使用         在fork()/execve()过程中，假设子进程结束时父进程仍存在，而父进程fork()之前既没安装SIGCHLD信号处理函数调用waitpid()等待子进程结束，又没有显式忽略该信号，则子进程成为僵尸进程，无法正常结束，此时即使是root身份kill -9也不能杀死僵尸进程。补救办法是杀死僵尸进程的父进程(僵尸进程的父进程必然存在)，僵尸进程成为”孤儿进程”，过继给1号进程init，init始终会负责清理僵尸进程。

僵尸进程是指的父进程已经退出,而该进程dead之后没有进程接受,就成为僵尸进程.(zombie)进程。
defunct进程只是在process table里还有一个记录，其他的资源没有占用，除非你的系统的process个数的限制已经快超过了，zombie进程不会有更多的坏处。

产生原因：
1.在子进程终止后到父进程调用wait()前的时间里，子进程被称为zombie。
2.网络原因有时会引起僵死进程。

解决方法：
1.设置SIGCLD信号为SIG_IGN，系统将不产生僵死进程。
2.用两次fork()，而且使紧跟的子进程直接退出，是的孙子进程成为孤儿进程，从而init进程将负责清除这个孤儿进程。


怎样产生僵尸进程的：
一个进程在调用exit命令结束自己的生命的时候，其实它并没有真正的被销毁，而是留下一个称为僵尸进程（Zombie）的数据结构（系统调用exit，它的作用是使进程退出，但也仅仅限于将一个正常的进程变成一个僵尸进程，并不能将其完全销毁）。在Linux进程的状态中，僵尸进程是非常特殊的一种，它已经放弃了几乎所有内存空间，没有任何可执行代码，也不能被调度，仅仅在进程列表中保留一个位置，记载该进程的退出状态等信息供其他进程收集，除此之外，僵尸进程不再占有任何内存空间。它需要它的父进程来为它收尸，如果他的父进程没安装SIGCHLD信号处理函数调用wait或waitpid()等待子进程结束，又没有显式忽略该信号，那么它就一直保持僵尸状态，如果这时父进程结束了，那么init进程自动会接手这个子进程，为它收尸，它还是能被清除的。但是如果如果父进程是一个循环，不会结束，那么子进程就会一直保持僵尸状态，这就是为什么系统中有时会有很多的僵尸进程。

怎么查看僵尸进程：
利用命令ps，可以看到有标记为Z的进程就是僵尸进程。
怎样来清除僵尸进程：
1.改写父进程，在子进程死后要为它收尸。具体做法是接管SIGCHLD信号。子进程死后，会发送SIGCHLD信号给父进程，父进程收到此信号后，执行waitpid()函数为子进程收尸。这是基于这样的原理：就算父进程没有调用wait，内核也会向它发送SIGCHLD消息，尽管对的默认处理是忽略，如果想响应这个消息，可以设置一个处理函数。
2.把父进程杀掉。父进程死后，僵尸进程成为"孤儿进程"，过继给1号进程init，init始终会负责清理僵尸进程．它产生的所有僵尸进程也跟着消失。
===========================================
在Linux中可以用
ps auwx
发现僵尸进程
a all w/ tty, including other users 所有窗口和终端，包括其他用户的进程
u user-oriented 面向用户(用户友好)
-w,w wide output 宽格式输出
x processes w/o controlling ttys
在僵尸进程后面 会标注
ps axf
看进程树，以树形方式现实进程列表
ps axm
会把线程列出来,在linux下进程和线程是统一的，是轻量级进程的两种方式。
ps axu
显示进程的详细状态
===========================================
killall
kill -15
kill -9
一般都不能杀掉 defunct进程
用了kill -15,kill -9以后 之后反而会多出更多的僵尸进程
kill -kill pid
fuser -k pid
可以考虑杀死他的parent process，
kill -9 他的parent process
===========================================

一个已经终止,但是其父进程尚未对其进行善后处理（获取终止子进程的有关信息、释放它仍占用的资源）的进程被称为僵死进程(Zombie Process)。
避免zombie的方法：
1)在SVR4中，如果调用signal或sigset将SIGCHLD的配置设置为忽略,则不会产生僵死子进程。另外,使用SVR4版的sigaction,则可设置SA_NOCLDWAIT标志以避免子进程僵死。
Linux中也可使用这个，在一个程序的开始调用这个函数
signal(SIGCHLD,SIG_IGN);
2)调用fork两次。程序8 - 5 实现了这一点。
3)用waitpid等待子进程返回.
===========================================
zombie进程是僵死进程。防止它的办法，一是用wait,waitpid之类的函数获得
进程的终止状态，以释放资源。另一个是fork两次
===========================================
defunct进程只是在process table里还有一个记录，其他的资源没有占用，除非你的系统的process个数的限制已经快超过了，zombie进程不会有更多的坏处。
可能唯一的方法就是reboot系统可以消除zombie进程。
===========================================
任何程序都有僵尸状态，它占用一点内存资源(也就是进程表里还有一个记录)，仅仅是表象而已不必害怕。如果程序有问题有机会遇见，解决大批量僵尸简单有效的办法是重起。kill是无任何效果的
fork与zombie/defunct"
在Unix下的一些进程的运作方式。当一个进程死亡时,它并不是完全的消失了。进程终止,它不再运行,但是还有一些残留的小东西等待父进程收回。这些残留的东西包括子进程的返回值和其他的一些东西。当父进程 fork()一个子进程后,它必须用 wait() 或者 waitpid() 等待子进程退出。正是这个 wait() 动作来让子进程的残留物消失。
自然的，在上述规则之外有个例外:父进程可以忽略 SIGCLD 软中断而不必要 wait()。可以这样做到(在支持它的系统上,比如Linux):
main()
{
signal(SIGCLD, SIG_IGN); /* now I don't have to wait()! */
.
.
fork();
fork();
fork(); /* Rabbits, rabbits, rabbits! */
｝
现在，子进程死亡时父进程没有 wait()，通常用 ps 可以看到它被显示为“”。它将永远保持这样 直到 父进程 wait()，或者按以下方法处理。
这里是你必须知道的另一个规则:当父进程在它wait()子进程之前死亡了(假定它没有忽略 SIGCLD),子进程将把 init(pid1)进程作为它的父进程。如果子进程工作得很好并能够控制，这并不是问题。但如果子进程已经是defunct，我们就有了一点小麻烦。看，原先的父进程不可能再 wait()，因为它已经消亡了。这样，init 怎么知道 wait() 这些zombie 进程。
答案：不可预料的。在一些系统上，init周期性的破坏掉它所有的defunct进程。在另外一些系统中,它干脆拒绝成为任何defunct进程的父进程，而是马上毁灭它们。如果你使用上述系统的一种,可以写一个简单的循环，用属于init的defunct进程填满进程表。这大概不会令你的系统管理员很高兴吧?
你的任务：确定你的父进程不要忽略 SIGCLD，也不要 wait() 它 fork() 的所有进程。不过，你也未必 要总是这样做（比如，你要起一个 daemon 或是别的什么东西）,但是你必须小心编程，如果你是一个 fork()的新手。另外，也不要在心理上有任何束缚。
总结：
子进程成为 defunct 直到父进程 wait()，除非父进程忽略了 SIGCLD 。
更进一步，父进程没有 wait() 就消亡（仍假设父进程没有忽略 SIGCLD ）的子进程（活动的或者 defunct）成为 init 的子进程，init 用重手法处理它们。

wait的函数原型是：

　　#include /* 提供类型pid_t的定义 */
　　#include
　　 pid_t wait(int *status)

　　进程一旦调用了wait，就立即阻塞自己，由wait自动分析是否当前进程的某个子进程已经退出，如果让它找到了这样一个已经变成僵尸的子进程， wait就会收集这个子进程的信息，并把它彻底销毁后返回；如果没有找到这样一个子进程，wait就会一直阻塞在这里，直到有一个出现为止。

　　参数status用来保存被收集进程退出时的一些状态，它是一个指向int类型的指针。但如果我们对这个子进程是如何死掉的毫不在意，只想把这个僵尸进程消灭掉，（事实上绝大多数情况下，我们都会这样想），我们就可以设定这个参数为NULL，就象下面这样：

　　pid = wait(NULL);

　　如果成功，wait会返回被收集的子进程的进程ID，如果调用进程没有子进程，调用就会失败，此时wait返回-1，同时errno被置为ECHILD。


waitpid的函数原型是：


　　简介
　　waitpid系统调用在Linux函数库中的原型是：

　　#include /* 提供类型pid_t的定义 */
　　#include
　　pid_t waitpid(pid_t pid,int *status,int options)


从本质上讲，系统调用waitpid和wait的作用是完全相同的，但waitpid多出了两个可由用户控制的参数pid和options，从而为我们编程提供了另一种更灵活的方式。下面我们就来详细介绍一下这两个参数：

　　● pid

　　从参数的名字pid和类型pid_t中就可以看出，这里需要的是一个进程ID。但当pid取不同的值时，在这里有不同的意义。

　　pid>0时，只等待进程ID等于pid的子进程，不管其它已经有多少子进程运行结束退出了，只要指定的子进程还没有结束，waitpid就会一直等下去。

　　pid=-1时，等待任何一个子进程退出，没有任何限制，此时waitpid和wait的作用一模一样。

　　pid=0时，等待同一个进程组中的任何子进程，如果子进程已经加入了别的进程组，waitpid不会对它做任何理睬。

　　pid<-1时，等待一个指定进程组中的任何子进程，这个进程组的ID等于pid的绝对值。

　　● options

　　options提供了一些额外的选项来控制waitpid，目前在Linux中只支持WNOHANG和WUNTRACED两个选项，这是两个常数，可以用"|"运算符把它们连接起来使用，比如：


　　ret=waitpid(-1,NULL,WNOHANG | WUNTRACED);


　　如果我们不想使用它们，也可以把options设为0，如：


　　ret=waitpid(-1,NULL,0);

　　如果使用了WNOHANG参数调用waitpid，即使没有子进程退出，它也会立即返回，不会像wait那样永远等下去。

　　而WUNTRACED参数，由于涉及到一些跟踪调试方面的知识，加之极少用到，这里就不多费笔墨了，有兴趣的读者可以自行查阅相关材料。

　　看到这里，聪明的读者可能已经看出端倪了--wait不就是经过包装的waitpid吗？没错，察看<内核源码目录>/include/unistd.h文件349-352行就会发现以下程序段：

　　static inline pid_t wait(int * wait_stat)
　　{
　　 return waitpid(-1,wait_stat,0);
　　}


　　返回值和错误

　　waitpid的返回值比wait稍微复杂一些，一共有3种情况：

　　● 当正常返回的时候，waitpid返回收集到的子进程的进程ID；

　　● 如果设置了选项WNOHANG，而调用中waitpid发现没有已退出的子进程可收集，则返回0；

　　● 如果调用中出错，则返回-1，这时errno会被设置成相应的值以指示错误所在；

　　当pid所指示的子进程不存在，或此进程存在，但不是调用进程的子进程，waitpid就会出错返回，这时errno被设置为ECHILD


其它：

调用 wait＆waitpid 来处理终止的子进程：

pid_t wait(int * statloc);
pid_t waitpid(pid_t pid, int *statloc, int options);
两个函数都返回两个值：函数的返回值和终止的子进程ID，而子进程终止的状态则是通过statloc指针返回的。

wait＆waitpid 的区别是显而易见的，wait等待第一个终止的子进程，而waitpid则可以指定等待特定的子进程。这样的区别可能会在下面这种情况时表现得更加明显：
当同时有5个客户连上服务器，也就是说有五个子进程分别对应了5个客户，此时，五个客户几乎在同时请求终止，这样一来，几乎同时，五个FIN发向服务器，同样的，五个SIGCHLD信号到达服务器，然而，UNIX的信号往往是不会排队的，显然这样一来，信号处理函数将只会执行一次，残留剩余四个子进程作为僵尸进程驻留在内核空间。此时，正确的解决办法是利用waitpid(-1, &stat, WNOHANG)防止留下僵尸进程。其中的pid为－1表明等待第一个终止的子进程，而WNOHANG选择项通知内核在没有已终止进程项时不要阻塞。


wait＆waitpid 区别

waitpid提供了wait函数不能实现的3个功能:

waitpid等待特定的子进程, 而wait则返回任一终止状态的子进程;
waitpid提供了一个wait的非阻塞版本;
waitpid支持作业控制(以WUNTRACED选项).
用于检查wait和waitpid两个函数返回终止状态的宏:

这两个函数返回的子进程状态都保存在statloc指针中, 用以下3个宏可以检查该状态:

WIFEXITED(status): 若为正常终止, 则为真. 此时可执行
WEXITSTATUS(status): 取子进程传送给exit或_exit参数的低8位.
WIFSIGNALED(status): 若为异常终止, 则为真. 此时可执行
WTERMSIG(status):   取使子进程终止的信号编号.
WIFSTOPPED(status): 若为当前暂停子进程, 则为真. 此时可执行
WSTOPSIG(status): 取使子进程暂停的信号编号