在使用HTTP协议进行请求时，HTTP协议头部会添加User-Agent，该信息可以标识请求者的一些信息，如什么浏览器类型和版本、操作系统，使用语言等信息。
通过抓包分析，得知IE，Firefox，傲游几个浏览器中 User-Agent的信息都为 “Mozilla/....”开头，而Opera
则不同的版本会有所不同，具体信息可以参照 下面网站，该网站信息很全，列出了常见的爬虫程序，浏览器，feed
reader等几类软件所使用的User-Agent信息。
根据所提供的信息，可以发现绝大部分的浏览器使用的User-Agent 信息都是以
“Mozilla/....”开头，而网络爬虫则只有一小部分使用
“Mozilla/....”信息。所以一般来统计的话，可以根据此信息确定使用浏览器所发出的HTTP请求。
阅读(1944) | 评论(0) | 转发(0) |
