如何在爬虫过程中精确控制ip的使用

小白学大数据

首页　| 　博文目录　| 　关于我

敏敏张77

博客访问： 188654
博文数量： 86
博客积分： 0
博客等级：民兵
技术积分： 876
用户组：普通用户
注册时间： 2018-03-27 14:41

个人简介

宁为玉碎，不为瓦全

文章分类

全部博文（86）

未分配的博文（86）

文章存档

2024年（30）

2023年（28）

2022年（17）

2021年（10）

2019年（1）

我的朋友

最近访客

推荐博文

如何在爬虫过程中精确控制ip的使用

发布时间：2021-08-04 16:53:30

在进行爬虫时，除了常见的不用登录就能爬取的网站，还有一类需要先登录的网站。比如豆瓣、知乎等，但是对于需要账号登陆的目标网站一般的限制都是比较严的，那么针对这样的问题有什么比较好的避免反爬限制策略呢？一般面对这样的情况，我们可以选择通过登录获取cookie然后再配合代理ip进行数据的获取。这里就我.........【阅读全文】

阅读(546) | 评论(0) | 转发(0)

python大数据抓取京东电脑销量数据

发布时间：2021-07-06 16:20:22

最近很多同学在咨询买电脑的事，尤其是刚高考完的准大学生们。因为到了大学之后，很多新生都想买一台电脑，这样可以很好的完成老师布置的作业，而且自己也可以想什么时候使用电脑都行，比较方便自己。那么，您知道大一新生买电脑的时候需要注意什么吗？1、注意电脑的配置问题，大学用电脑主要是学习为主，那么.........【阅读全文】

阅读(1020) | 评论(0) | 转发(0)

通过搭建squid实现爬虫需求

发布时间：2021-05-26 16:16:00

通过搭建squid，然后设置squid的上联代理为爬虫代理，实现二次代理......【阅读全文】

阅读(839) | 评论(0) | 转发(0)

你接种新冠疫苗了吗？

发布时间：2021-03-05 17:33:02

关注社会关注生活......【阅读全文】

阅读(739) | 评论(0) | 转发(0)

李焕英为何如此高票房？

发布时间：2021-02-26 17:24:20

最近你看这个电影了吗？......【阅读全文】