当业务需要大量IP的时候,该如何操作？每天产生IP量：过W,Easy

Sky_欧彬skybin090804.blog.chinaunix.net

首页　| 　博文目录　| 　关于我

skybin090804

博客访问： 835406
博文数量： 167
博客积分： 7173
博客等级：少将
技术积分： 1671
用户组：普通用户
注册时间： 2009-08-04 23:07

文章分类

全部博文（167）

轻度运维（12）
云计算（10）
编程（1）
NoSQL（1）
PostgreSQL（1）
mongoDB（4）
其他架构测试总结（1）
工作中积累的文档（1）
网络相关（1）
TTSERVER（1）
其他（2）
Varnish（1）
Memcached（3）
NGINX（9）
RESIN（5）
网络收集的文档（12）
原创文档（1）
SQUID（2）
TCP（1）
SNMP（5）
MogileFS（7）
LVS（7）
MySQL（8）
SQL（3）
Coding（14）

Java（2）

Perl（2）

Python（1）

SHELL（4）
AMS Series（1）
Oracle（9）
AIX（1）
Linux（16）
生活杂谈（5）
Solaris（22）
未分配的博文（0）

文章存档

2018年（1）

2017年（11）

2012年（2）

2011年（27）

2010年（88）

2009年（38）

我的朋友

最近访客

推荐博文

当业务需要大量IP的时候,该如何操作？每天产生IP量：过W,Easy

发布时间：2018-09-15 07:56:52

当业务需要对外大量爬取数据的时候，往往会碰到被目标网站限流或者直接封堵。这时候就要进行层层应对，代码要被改造成模拟人的行为浏览器访问目标网站，这中操作，当需要获取目标网站数据量不大，时间充裕的情况下，足够了。但当我们需要短时间内大并发爬取内容的时候，这只从代码上进行改造往往达不到效果；这个时候就需要进行大量的IP配合。......【阅读全文】

阅读(430) | 评论(0) | 转发(0)

给主人留下些什么吧！~~

chinaunix网友2010-12-26 14:23

牛人一个

回复　| 　删除　| 　举报

chinaunix网友2010-06-28 19:50

很好不错

回复　| 　删除　| 　举报

留言热议

请登录后留言。

登录注册

感谢所有关心和支持过ChinaUnix的朋友们

16024965号-6