Chinaunix首页 | 论坛 | 博客
  • 博客访问: 547008
  • 博文数量: 142
  • 博客积分: 2966
  • 博客等级: 少校
  • 技术积分: 1477
  • 用 户 组: 普通用户
  • 注册时间: 2009-12-07 22:37
文章分类

全部博文(142)

文章存档

2013年(3)

2012年(21)

2011年(53)

2010年(33)

2009年(32)

发布时间:2013-05-06 13:59:56

使用gevent,可以对并发多个http请求的爬虫程序进行很好的优化, 缺点是,安装相对麻烦,这个包依赖于libevent,在windows下面用easy_install直接安装是不行的,必须用源代码包wget http://pypi.python.org/packages/source/g/gevent/gevent-0.13.8.tar.gztar zxvf gevent-0.13.8.tar.gzcd gevent.........【阅读全文】

阅读(1057) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册