全部博文(2759)
发布时间:2013-05-18 00:16:00
本来是想把这部分内容放到《数据抓取的艺术(二)》之中。但是随着任务的完成,我越来越感觉到其中深深的趣味,现总结如下: (1)时间 时间是一个与抓取规模相形而生的因素,数据规模越大,时间消耗往往越长。所以程序优化变得相当重要,要知道抓取时间越.........【阅读全文】
发布时间:2013-05-18 00:12:46
接前文:《数据抓取的艺术(一):Selenium+Phantomjs数据抓取环境配置》。一、程序优化程序优化:第一步开始:for i in range(startx,total): for j in range(starty,total): &.........【阅读全文】