Chinaunix首页 | 论坛 | 博客
  • 博客访问: 229819
  • 博文数量: 57
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 557
  • 用 户 组: 普通用户
  • 注册时间: 2015-10-01 18:05
文章分类

全部博文(57)

文章存档

2017年(57)

我的朋友

分类: Python/Ruby

2017-12-12 13:36:15

强大的Manage
以上实现的数据共享的方式只有两种结构Value和Array。Python中提供了强大的Manage专门用来做数据共享的,其支持的类型非常多,包括,Value, Array,list,dict, Queue, Lock等。

下面看个例子:

点击(此处)折叠或打开

  1. #!/usr/bin/env python
  2. # -*- coding:utf-8 -*-
  3. # Author :Alvin.xie
  4. # @Time :2017-12-12 13:13
  5. # @file :6.py


  6. from multiprocessing import Process, Manager
  7. def func(dt, lt):
  8.     lt += range(11, 16)
  9.     for i in range(10):
  10.         key = 'arg' + str(i)
  11.         dt[key] = i * i


  12. if __name__ == "__main__":
  13.     manager =Manager()
  14.     dt = manager.dict()
  15.     lt = manager.list()
  16.     p = Process(target=func, args=(dt, lt))
  17.     p.start()
  18.     p.join()
  19.     print(dt)
  20.     print(lt)
执行结果:
{'arg8': 64, 'arg9': 81, 'arg0': 0, 'arg1': 1, 'arg2': 4, 'arg3': 9, 'arg4': 16, 'arg5': 25, 'arg6': 36, 'arg7': 49}
[11, 12, 13, 14, 15]


进程池
Pool可以提供指定数量的进程,供用户调用,当有新的请求提交到pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到规定最大值,那么该请求就会等待,直到池中有进程结束,才会创建新的进程。
阻塞和非阻塞的区别:
Pool.apply_async     非阻塞,定义的进程池进程最大数可以同时执行。
Pool.apply               一个进程结束,释放回进程池,下一个进程才可以开始
下面我们先来看一个进程池非阻塞的例子:

点击(此处)折叠或打开

  1. #!/usr/bin/env python
  2. # -*- coding:utf-8 -*-
  3. # Author :Alvin.xie
  4. # @Time :2017-12-12 13:25
  5. # @file :7.py

  6. import multiprocessing
  7. import time
  8. def fun(msg):
  9.     print("######start###### {0}".format(msg))
  10.     time.sleep(3)
  11.     print("######end###### {0}".format(msg))


  12. if __name__ == "__main__":
  13.     print("########## main start #########")
  14.     pool = multiprocessing.Pool(processes=3)
  15.     for i in xrange(1, 6):
  16.         msg = "hello {0}".format(i)
  17.         pool.apply_async(func=fun, args=(msg,))
  18.     pool.close()
  19.     pool.join()
  20.     print("########## main end #########")
执行结果:
########## main start #########
######start######  hello 1
######start######  hello 2
######start######  hello 3
######end######  hello 1
######start######  hello 4
######end######  hello 2
######start######  hello 5
######end######  hello 3
######end######  hello 4
######end######  hello 5
########## main end #########
注意:
pool.join() #调用join之前,先调用close函数,否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束



















阅读(1368) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~