多进程Manager与进程池

强大的Manage

以上实现的数据共享的方式只有两种结构Value和Array。Python中提供了强大的Manage专门用来做数据共享的，其支持的类型非常多，包括，Value， Array，list，dict， Queue, Lock等。

下面看个例子：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# Author :Alvin.xie
# @Time :2017-12-12 13:13
# @file :6.py


from multiprocessing import Process, Manager
def func(dt, lt):
    lt += range(11, 16)
    for i in range(10):
        key = 'arg' + str(i)
        dt[key] = i * i


if __name__ == "__main__":
    manager =Manager()
    dt = manager.dict()
    lt = manager.list()
    p = Process(target=func, args=(dt, lt))
    p.start()
    p.join()
    print(dt)
    print(lt)

执行结果：
{'arg8': 64, 'arg9': 81, 'arg0': 0, 'arg1': 1, 'arg2': 4, 'arg3': 9, 'arg4': 16, 'arg5': 25, 'arg6': 36, 'arg7': 49}
[11, 12, 13, 14, 15]

进程池

Pool可以提供指定数量的进程，供用户调用，当有新的请求提交到pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到规定最大值，那么该请求就会等待，直到池中有进程结束，才会创建新的进程。

阻塞和非阻塞的区别：

Pool.apply_async     非阻塞，定义的进程池进程最大数可以同时执行。

Pool.apply               一个进程结束，释放回进程池，下一个进程才可以开始

下面我们先来看一个进程池非阻塞的例子：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# Author :Alvin.xie
# @Time :2017-12-12 13:25
# @file :7.py

import multiprocessing
import time
def fun(msg):
    print("######start######  {0}".format(msg))
    time.sleep(3)
    print("######end######  {0}".format(msg))


if __name__ == "__main__":
    print("########## main start #########")
    pool = multiprocessing.Pool(processes=3)
    for i in xrange(1, 6):
        msg = "hello {0}".format(i)
        pool.apply_async(func=fun, args=(msg,))
    pool.close()
    pool.join()
    print("########## main end #########")

执行结果：
########## main start #########
######start######  hello 1
######start######  hello 2
######start######  hello 3
######end######  hello 1
######start######  hello 4
######end######  hello 2
######start######  hello 5
######end######  hello 3
######end######  hello 4
######end######  hello 5
########## main end #########
注意：

pool.join() #调用join之前，先调用close函数，否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束