用python实现一个线程池

# !/usr/bin/env python

# -*- coding:utf-8 -*-

# ref_blog:http://www.open-open.com/home/space-5679-do-blog-id-3247.html

import Queue

import threading

import time

class WorkManager(object):

    def __init__(self, work_num=1000,thread_num=2):

        self.work_queue = Queue.Queue()

        self.threads = []

        self.__init_work_queue(work_num)

        self.__init_thread_pool(thread_num)

    """

        初始化线程

    """

    def __init_thread_pool(self,thread_num):

        for i in range(thread_num):

            self.threads.append(Work(self.work_queue))

    """

        初始化工作队列

    """

    def __init_work_queue(self, jobs_num):

        for i in range(jobs_num):

            self.add_job(do_job, i)

    """

        添加一项工作入队

    """

    def add_job(self, func, *args):

        self.work_queue.put((func, list(args)))#任务入队，Queue内部实现了同步机制

    """

        检查剩余队列任务

    """

    def check_queue(self):

        return self.work_queue.qsize()

    """

        等待所有线程运行完毕

    """ 

    def wait_allcomplete(self):

        for item in self.threads:

            if item.isAlive():item.join()

class Work(threading.Thread):

    def __init__(self, work_queue):

        threading.Thread.__init__(self)

        self.work_queue = work_queue

        self.start()

    def run(self):

        #死循环，从而让创建的线程在一定条件下关闭退出

        while True:

            try:

                do, args = self.work_queue.get(block=False)#任务异步出队，Queue内部实现了同步机制

                do(args)

                self.work_queue.task_done()#通知系统任务完成

            except Exception,e:

                print str(e)

                break

#具体要做的任务

def do_job(args):

    print args

    time.sleep(0.1)#模拟处理时间

    print threading.current_thread(), list(args)

if __name__ == '__main__':

    start = time.time()

    work_manager =  WorkManager(10, 2)#或者work_manager =  WorkManager(10000, 20)

    work_manager.wait_allcomplete()

    end = time.time()

    print "cost all time: %s" % (end-start)

这个代码清晰易懂。

整个代码只有两个类：WorkManager和Work，前者确实如命名所示，是一个管理者，管理线程池和任务队列，而后者就是具体的一个线程。

它的整个运行逻辑就是，给WorkManager分配制定的任务量和线程数，然后每个线程都从任务队列中获取任务来执行，直到队列中没有任务。这里面也用到了Queue内部的同步机制（至于是啥同步机制目前还没去研究）。

总结一下这样一个线程池的作用，对于我本来的目的其实这个东西是永不上的，因为我需要在web页面来控制线程的启动和停止，而这个线程池看起来只是用来并发完任务的。不过我想虽然在控制线程方面没有作用，但是它的并发执行任务的作用还是蛮不错，或许可以用在爬网页的部分。