使用gevent，可以对并发多个http请求的爬虫程序进行很好的优化， 缺点是，安装相对麻烦，
这个包依赖于libevent，在windows下面用直接安装是不行的，必须用源代码包
-
wget
-
tar zxvf gevent-0.13.8.tar.gz
-
cd gevent
-
里面有个fetch_libevent.py 用来帮你下载libevent依赖
-
python fetch_libevent.py
-
python setup.py build
-
python setup.py install
阅读(1015) | 评论(0) | 转发(0) |
