全部博文（167）
发布时间：2018-09-15 07:56:52
当业务需要对外大量爬取数据的时候，往往会碰到被目标网站限流或者直接封堵。这时候就要进行层层应对，代码要被改造成模拟人的行为浏览器访问目标网站，这中操作，当需要获取目标网站数据量不大，时间充裕的情况下，足够了。但当我们需要短时间内大并发爬取内容的时候，这只从代码上进行改造往往达不到效果；这个时候就需要进行大量的IP配合。......【阅读全文】
发布时间：2017-05-18 22:41:57
linux的运维者，逃脱不了定时任务的命题，最常用和快捷简单的是crontab，在少量机器的情况下，crontab效率还是比较高和比较便捷。但当机器越多、应用越多的情况下，继续使用crontab进行定时任务的管理配置，那严重影响工作效率。机器多、服务多的情况下，就会遇到以下问题：1.不知道哪个定时任务没配置好，瞎.........【阅读全文】
发布时间：2017-05-18 22:41:25
linux的运维者，逃脱不了定时任务的命题，最常用和快捷简单的是crontab，在少量机器的情况下，crontab效率还是比较高和比较便捷。但当机器越多、应用越多的情况下，继续使用crontab进行定时任务的管理配置，那严重影响工作效率。机器多、服务多的情况下，就会遇到以下问题：1.不知道哪个定时任务没配置好，瞎.........【阅读全文】
发布时间：2017-04-29 20:04:24
现在很多地方都使用nginx或者tengine进行前端的负载均衡，但单纯使用nginx（tengine）不能完全满足日常需求，所以，需要进行适当的功能扩展，在以往只能是nginx c模块开发，这样费时费力还难维护，对于中小型公司简直是一万点伤害呢。幸运的是有大神做了nginx的lua模块，使得nginx（tengine）功能扩展变得简单和易维护。.........【阅读全文】
发布时间：2017-04-11 09:47:24
几年前，开始在公众视野中不断爆发出应用的安全问题。当时想着应用运维能否也能在nginx中为应用做一层防护，基于该前提下，在Nginx中用Lua做WAF的架构就开始启动。在这里和大家分享一下这套小东西。整个 WAF 系统的结构拦截处理模块（ nginx 、Lua）日志收集模块（ lua、kafka ）日志分析模块（spark.........【阅读全文】
