Chinaunix首页 | 论坛 | 博客
  • 博客访问: 3551
  • 博文数量: 20
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 210
  • 用 户 组: 普通用户
  • 注册时间: 2022-12-20 17:00
文章分类
文章存档

2023年(20)

我的朋友
最近访客

分类: Python/Ruby

2023-05-19 17:39:31

img

img

既然某乎为我推荐了这个问题,那今天就来简单说说,使用了HTTP代理后,还是拒绝访问,无非以下原因:

1.HTTP代理已经被目标网站标记识别并且禁止访问了

这种情况比较常见于那些免费使用的HTTP代理,据我所知,为了吸引客流目前还是蛮多网站上有这种资源的,免费的HTTP代理也不是说就是个雷,相对于使用场景来说有利有弊吧。我一向秉持的观点是:练手可以,工作上做项目那可别。我之前说的免费HTTP代理的弊端已经够多了,网上也很多人说,就不再赘述了,总而言之:

img



2.HTTP代理商提供的HTTP代理匿名等级不够

这种常见于那种没什么资质,或者价格过于便宜的厂商,总的来说,HTTP代理这种玩意实际上也是由一定成本的,你用那种连广告都做不起的,隐患可比广告铺满天的隐患大。连广告都做不起的,你敢信他们家由钱搞代理服务器?有钱搞,那有钱维护吗?我们的任务在一众合规又有强力支撑的厂商中,通过“善于发现美”的眼睛和动手测试找到符合自己心意的HTTP代理厂商。


3.使用时的行为习惯

现在大部分的网站都会更新反爬虫机制,以应对爬虫的挑战。毕竟现在是数字时代,数据采集做商业分析已经是一个非常非常常见的商业行为了,只要你在目标网站的底线内,人家确实可以让你采,但是你要是过了,比如:短时间内疯狂访问,目标网站一整个就被搞崩溃了,连普通的,目标网站的真正用户都使用不上,断人财路,好比那啥。那不封你,难道封我吗?

img


该怎么处理?

img

这个问题也是老生常谈,属实是会被平台检测为复制黏贴的程度:

1.找靠谱点的HTTP代理商,如何找,往前翻,我上面说了。

2.控制一下自己的数据采集适合的行为习惯,模拟正式用户行为啊,降低请求频率啊,设置间隔时间啊,修改请求头信息啊……总之,“做个人”吧。

3.定期查看自己HTTP代理服务器和爬虫运行的情况,及时根据反馈回来的数据问题代码调整爬虫策略,提高成功率。


我之前对比过此类产品:

img

img

img

以及,静态HTTP代理的对比:

img

阅读(105) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~