python爬虫的三个版本:
1. 基于urllib, urllib2
基于http请求响应的封装。有局限性,因为不能处理动态的脚本如js,一些操作无法实现。
2. 内嵌webbrowser
如pyqt的webkit,pamie, spynner(基于webkit)
这种内嵌的方式类似于com调用,支持所有浏览器的操作,兼容性好,但不如urllib快捷。
3. web test framwork
如selenium。 综合了1,2两种方式,selenium IDE还可以生成代码,是一个强大的web测试工具。
selenium学习网站