多进程模块:
subprocess 模块, 实现多进程要求。提供了运行其他程序的功能, 可以传递命令行参数, 可以通过管道进行通信。同时也有 spawn函数、os.system()等内容。
sys.executable 代表当前运行的python解释器。
点击(此处)折叠或打开
-
pipe = subprocess.Popen(cmdline, stdin=subprocess.PIPE) # cmdline类似 "python3 /code/my.py 参数"
-
pipes.append(pipe)
-
pipe.stdin.write(msg_str.encode("utf8" + b"\n") #subprocess模块读写的是字节
-
pipe.stdin.close()
-
-
-
while pipes:
-
pipe = pipes.pop()
-
pipe.wait() # 等待管道的关闭。
-
-
-
管道的另外一段子进程可以使用
-
stdin = sys.stdin.buffer.read()
-
lines = stdin.decode("utf8", "ignore").splitlines() #获得输入的字符串。
-
或者用
-
sys.stdin = sys.stdin.detach()
-
stdin = sys.stdin.read()
-
lines = stdin.decode("utf8", "ignore").splitlines() #获得输入的字符串
-
按块读入文件的相关代码
-
-
with open(filename, "rb") as fh:
-
while True:
-
current = fh.read(1024)
-
if not current:
-
break
-
current = current.decode("utf8", "ignore")
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
多线程:
引入 threading 模块
http://blog.chinaunix.net/uid-27875-id-5780794.html 多线程的讲义
http://blog.chinaunix.net/uid-27875-id-5780813.html 多线程的类实现以及通信 Queue
创建线程方式:
1. 调用
threading.Thread(target=func,args=(1,)) # 输入函数与元组
2. 创建 threading.Thread 的子类, 可以重新实现 __init__()方法(此时必须调用积累的实现,即要使用threading.Thread.__init__(self)), 且必须要实现 run()方法, 那么在调用 start()方法是, run会在内部被调用。
线程通信:
queue.Queue类的锁机制是其内部实现的。queue.Queue.join()方法为阻塞, 直到队列为空。
queue.Queue 是 FIFO 机制工作
queue.LifoQueue: 是 LIFO 后进先出
queue.PriorityQueue接受二元组(优先级,数据项), 优先级低的最先处理。
所有队列在创建时都可以指定最大容量, 如果队列项目个数已满, 则添加动作会阻塞。
Queue的操作为
queue.Queue.get(self, block=True, timeout=None)
queue.Queue.put(self, item, block=True, timeout=None)
在线程内部, 对queue的项目get()完毕后, 调用 queue.Queue.task_done()是必要的。
有一个模块multiprocessing, 其中包含了多线程和队列的实现, 线程基类为 multiprocessing.Process, 队列为 multiprocessing.JoinableQueue. 好处是他在多核机器上有更快的运行潜力
锁机制:
lock = threading.Lock()
with lock:
suite
-
md5 = hashlib.md5()
-
md5.update(数据)
-
md5.digest()
阅读(2384) | 评论(0) | 转发(0) |