在使用HTTP协议进行请求时,HTTP协议头部会添加User-Agent,该信息可以标识请求者的一些信息,如什么浏览器类型和版本、操作系统,使用语言等信息。
通过抓包分析,得知IE,Firefox,傲游几个浏览器中 User-Agent的信息都为 “Mozilla/....”开头,而Opera
则不同的版本会有所不同,具体信息可以参照 下面网站,该网站信息很全,列出了常见的爬虫程序,浏览器,feed
reader等几类软件所使用的User-Agent信息。
根据所提供的信息,可以发现绝大部分的浏览器使用的User-Agent 信息都是以
“Mozilla/....”开头,而网络爬虫则只有一小部分使用
“Mozilla/....”信息。所以一般来统计的话,可以根据此信息确定使用浏览器所发出的HTTP请求。
阅读(2741) | 评论(0) | 转发(0) |