Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1941520
  • 博文数量: 2504
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 25169
  • 用 户 组: 普通用户
  • 注册时间: 2020-11-26 14:30
个人简介

更多python、Linux、网络安全学习内容,可移步:www.oldboyedu.com或关注\"老男孩Linux\"公众号

文章分类

全部博文(2504)

文章存档

2024年(349)

2023年(643)

2022年(693)

2021年(734)

2020年(80)

我的朋友

分类: Python/Ruby

2021-04-02 15:26:25

  Python工程师的就业方向有很多,其中包含Python爬虫开发,它是非常受欢迎的就业岗位,也是很多企业热招的岗位。那么你知道面试Python爬虫开发工程师的时候会问及哪些问题吗?小编为大家提供几个相关面试题目,希望对你有所帮助。

  Scrapy和scrapy-redis有什么区别?

  Scrapy属于Python爬虫的框架之一,效率高,具有高度定制性,但是不支持分布式;scrapy-redis是一套基于redis数据库、运行在scrapy框架之上的组件,可以让scrapy支持分布式策略,slaver端共享master端redis数据库里的item队列、请求队列和请求指纹集合。

  Scrapy框架的运行机制是什么?

  从start_urls获取第一批url并发送请求,请求由引擎交给调度器入请求队列,获取完毕之后,调度器将请求队列里面的请求交给下载器去获取请求对应的资源,然后将响应交给自己编写的解析方法进行提取处理。

  1如果提取出需要的数据,直接交给管道文件进行处理;

  2如果提取出url,会继续执行之前的步骤,直到请求队列里没有请求,程序即可结束。

  Post和get的区别是什么?

  Post:请求不能被缓存下来,post请求不会保存在浏览器浏览记录中,post请求的url无法保存为浏览器书签;没有长度限制;请求会把请求的数据放置在http请求包的包体中;post的安全性比get高。

  Get:指定的服务器中获取数据。Get请求能够被缓存;会保存在浏览器的浏览记录中;以get请求的url能够保存为浏览器书签;请求具有长度限制;get请求主要用以获取数据。

阅读(869) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~