Chinaunix首页 | 论坛 | 博客
  • 博客访问: 288904
  • 博文数量: 67
  • 博客积分: 10
  • 博客等级: 民兵
  • 技术积分: 802
  • 用 户 组: 普通用户
  • 注册时间: 2011-03-14 16:23
文章分类
文章存档

2011年(4)

2010年(18)

2009年(32)

2008年(13)

我的朋友

分类: LINUX

2010-01-04 00:03:22

在使用HTTP协议进行请求时,HTTP协议头部会添加User-Agent,该信息可以标识请求者的一些信息,如什么浏览器类型和版本、操作系统,使用语言等信息。

       通过抓包分析,得知IE,Firefox,傲游几个浏览器中 User-Agent的信息都为 “Mozilla/....”开头,而Opera 则不同的版本会有所不同,具体信息可以参照 下面网站,该网站信息很全,列出了常见的爬虫程序,浏览器,feed reader等几类软件所使用的User-Agent信息。

 

       根据所提供的信息,可以发现绝大部分的浏览器使用的User-Agent 信息都是以 “Mozilla/....”开头,而网络爬虫则只有一小部分使用 “Mozilla/....”信息。所以一般来统计的话,可以根据此信息确定使用浏览器所发出的HTTP请求。
阅读(2743) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~