使用scrapy进行大规模抓取

文章来源：http://www.yakergong.net/blog/archives/500

使用scrapy有大概半年了，算是有些经验吧，在这里跟大家讨论一下使用scrapy作为爬虫进行大规模抓取可能遇到的问题。我们抓取的目标是教 育网上的网站（目前主要针对.edu.cn和.cas.cn/.cass.cn域名），这半年里抓取了百万以上的url，其实百万url的规模不算大，我 们一直在断断续续的修改，还没有开始全面的抓取。

如果想了解scrapy的话，推荐pluskid的scrapy轻松定制网络爬虫，写的很清晰。

关于scrapy涉及的一些不太容易解决的性能问题，请参考使用scrapy进行大规模抓取(二)。

我们对scrapy的修改是基于0.9 stable的（写这篇文章时最新的release是0.10）。我们为了实现定制需求而进行的修改经常破坏了scrapy的代码结构，所以这里就不贴代码了，有兴趣的朋友可以留言或者邮件讨论。

首先说下scrapy的定位吧，我们看来它是为抓取单一网站上固定格式的内容而设计的，比如抓取一个小说网站上的小说或者抓取一个电子商务网站上的 商品。好在scrapy结构清晰，可以很方便得修改它来实现更复杂的需求。要进行大规模的抓取，可能要修改scrapy以处理如下问题。

快速的link extractor。python的SGMLParser实在是太慢了，使用SgmlLinkExtractor会让爬虫把大部分的时间都浪费在解析网页上，最好自己写一个link extractor(我们基于写了一个，也可以用soup之类的库)。也可以用正则表达式来写link extractor，速度快，问题是不理解html语义，会把注释里的链接也包含进来。另外基于javascript重定向url也要在这里提取出来。

Spider Trap()。 我们解决这个问题的方法比较暴力。因为spider trap一般是由动态网页实现的，所以我们最开始的方案就是先通过url是否包含”?”来判断一个网页是否是动态网页，然后取得不包含参数的url地址， 对这个地址进行计数，设置一个阈值，超过阈值之后不再抓取。这个方案遇到的困扰在于很多网站开启了url rewrite，使得判别一个页面是否是动态页面很困难。现在的方法是把网页按照所引用的css文件进行聚类，通过控制类里最大能包含的网页数量防止爬虫 进入trap后出不来，对不不含css的网页会给一个penalty，限制它能产生的链接数量。这个办法理论上不保证能避免爬虫陷入死循环，但是实际上这 个方案工作得挺好，因为绝大多数网页都使用了css，动态网页更是如此。之所以说着方法比较暴力是因为这两种方法阈值都是写死的，不能通过抓取的结果，网 页的相似度，网页的重要性进行修改。

增量抓取。一个针对多个网站的爬虫很难一次性把所有网页爬取下来，并且网页也处于不断更新的状态中，爬取是一个 动态的过程，爬虫支持增量的抓取是很必要的。大概的流程就是关闭爬虫时保存duplicate filter的数据，保存当前的request队列，爬虫启动时导入duplicate filter，并且用上次request队列的数据作为start url。这里还涉及scrapy一个称得上bug的问题，一旦抓取队列里url过多，关闭scrapy需要很久，有时候要花费几天的时间。我们hack了 scrapy的代码，在接收到关闭命令后，保存duplicate filter数据和当前的request队列和已抓取的url列表，然后调用twisted的reactor.stop()强制退出。当前的 request队列可以通过scrapy.core.scheduler的pending_requests成员得到。

高效数据存储。抓取的页面多了之后如何存储就成了一个问题，按我们的统计纯html页面的平均大小大概在 20~30k之间，百万的页面抓下来之后占用的硬盘空间大概是几十G。ntfs和ext3这些文件系统在小文件过多之后效率都会比较低，需要优化存储效 率。我们目前将页面的url进行hash(sha1)，以hash值作为文件名，hash值的前几位作为目录名存储页面，以后准备使用HDFS来存储数 据。

scrapy的开发者还是挺活跃的，这两天就看到scrapy的blog上有专家写关于ajax抓取的文章，ajax抓取是个挺常出现的问题。目前新版本的scrapy(0.10)支持持久化队列支持增量抓取，爬虫关闭过慢的问题也得到了一定的解决，相信更多特性会逐步开发出来。

我们目前的数据量其实也谈不上大规模，针对这些问题的解决方式也不够完美。这里只是列举一部分可能遇到的问题，实际的问题还有很多，比如编码检测/ 确定网页的重要性/定期更新。还有一个大问题就是内存泄露，在python里检查内存泄露很难，尤其是对于工作在twisted上的这种持续工作的网络程 序，这个以后再谈吧。下面还有一些小建议。

1.如果想要爬取的质量更高，尽量使用宽度优先的策略，在配置里设置 SCHEDULER_ORDER = ‘BFO’

2.修改单爬虫的最大并行请求数 CONCURRENT_REQUESTS_PER_SPIDER

3.修改twisted的线程池大小，默认值是10。参考(Using Threads in Twisted)

在scrapy/core/manage.py爬虫启动前加上

reactor.suggestThreadPoolSize(poolsize)

4.可以开启dns cache来提高性能

在配置里面加上 EXTENSIONS={’scrapy.contrib.resolver.CachingResolver’: 0,}

5.如果自己实现duplicate filter的话注意要保证它是一直可用的，dupfilter里的异常是不会出现在日志文件中的，好像外面做了try-expect处理，我也没仔细看这部分