Chinaunix首页 | 论坛 | 博客
  • 博客访问: 2136185
  • 博文数量: 145
  • 博客积分: 8668
  • 博客等级: 中将
  • 技术积分: 3922
  • 用 户 组: 普通用户
  • 注册时间: 2007-03-09 21:21
个人简介

work hard

文章分类

全部博文(145)

文章存档

2016年(1)

2015年(1)

2014年(1)

2013年(12)

2012年(3)

2011年(9)

2010年(34)

2009年(55)

2008年(20)

2007年(9)

分类: LINUX

2010-01-04 00:03:22

在使用HTTP协议进行请求时,HTTP协议头部会添加User-Agent,该信息可以标识请求者的一些信息,如什么浏览器类型和版本、操作系统,使用语言等信息。

       通过抓包分析,得知IE,Firefox,傲游几个浏览器中 User-Agent的信息都为 “Mozilla/....”开头,而Opera 则不同的版本会有所不同,具体信息可以参照 下面网站,该网站信息很全,列出了常见的爬虫程序,浏览器,feed reader等几类软件所使用的User-Agent信息。

 

       根据所提供的信息,可以发现绝大部分的浏览器使用的User-Agent 信息都是以 “Mozilla/....”开头,而网络爬虫则只有一小部分使用 “Mozilla/....”信息。所以一般来统计的话,可以根据此信息确定使用浏览器所发出的HTTP请求。
阅读(1650) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~