spider抓取过程中的策略(百度Lee)

seotg的ChinaUnix博客

首页　| 　博文目录　| 　关于我

seotg

博客访问： 1982
博文数量： 2
博客积分： 0
博客等级：民兵
技术积分： 36
用户组：普通用户
注册时间： 2013-08-27 09:13

文章分类

全部博文（2）

未分配的博文（2）

文章存档

2014年（1）

2013年（1）

2013年08月（1）

我的朋友

最近访客

推荐博文

spider抓取过程中的策略(百度Lee)

发布时间：2013-08-28 11:07:22

spider在抓取过程中面对着复杂的网络环境，为了使系统可以抓取到尽可能多的有价值资源并保持系统及实际环境中页面的一致性同时不给网站体验造成压力，会设计多种复杂的抓取策略。以下简单介绍一下抓取过程中涉及到的主要策略类型：1、抓取友好性：抓取压力调配降低对网站的访问压力2、常用抓取返回码示意3、.........【阅读全文】

阅读(168) | 评论(0) | 转发(0)

给主人留下些什么吧！~~

留言热议

请登录后留言。

登录注册

感谢所有关心和支持过ChinaUnix的朋友们

16024965号-6