Python爬虫面试题分享！这三点很重要

　　Python工程师的就业方向有很多，其中包含Python爬虫开发，它是非常受欢迎的就业岗位，也是很多企业热招的岗位。那么你知道面试Python爬虫开发工程师的时候会问及哪些问题吗?小编为大家提供几个相关面试题目，希望对你有所帮助。

　　Scrapy和scrapy-redis有什么区别?

　　Scrapy属于Python爬虫的框架之一，效率高，具有高度定制性，但是不支持分布式;scrapy-redis是一套基于redis数据库、运行在scrapy框架之上的组件，可以让scrapy支持分布式策略，slaver端共享master端redis数据库里的item队列、请求队列和请求指纹集合。

　　Scrapy框架的运行机制是什么?

　　从start_urls获取第一批url并发送请求，请求由引擎交给调度器入请求队列，获取完毕之后，调度器将请求队列里面的请求交给下载器去获取请求对应的资源，然后将响应交给自己编写的解析方法进行提取处理。

　　1如果提取出需要的数据，直接交给管道文件进行处理;

　　2如果提取出url，会继续执行之前的步骤，直到请求队列里没有请求，程序即可结束。

　　Post和get的区别是什么?

　　Post：请求不能被缓存下来，post请求不会保存在浏览器浏览记录中，post请求的url无法保存为浏览器书签;没有长度限制;请求会把请求的数据放置在http请求包的包体中;post的安全性比get高。

　　Get：指定的服务器中获取数据。Get请求能够被缓存;会保存在浏览器的浏览记录中;以get请求的url能够保存为浏览器书签;请求具有长度限制;get请求主要用以获取数据。