Chinaunix首页 | 论坛 | 博客
  • 博客访问: 7768
  • 博文数量: 4
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 50
  • 用 户 组: 普通用户
  • 注册时间: 2014-09-17 14:41
文章分类

全部博文(4)

文章存档

2014年(4)

我的朋友
最近访客

分类: 系统运维

2014-09-18 16:04:57

近日本人维护的一个客户网站打开非常慢,于是便按照以往的排查步骤进行排查

1,登录服务器top命令查看负载IO情况发现负载有点高并有很多php进程占了很大的资源

2,进入mysql服务器查看数据库线程,并没有发现锁表情况。

3,打开web访问日志发现有很多百度爬虫访问。导致点了很多php资源

解决方案:

    1,禁用爬虫(不利于SEO)

       在nginx配置文件中加入

       if ( $http_user_agent ~ Baiduspider ){return 503;}
       if ( $http_user_agent ~ EtaoSpider ){return 503;}
       if ( $http_user_agent ~  Googlebot ){return 503;}
       if ( $http_user_agent ~ " bingbot" ){return 503;}

       据说返回503是跟据seo考虑的

    2,通过nginx判断是否是百度爬虫如果是就访问缓存



 
穿衣搭配博客

阅读(261) | 评论(0) | 转发(0) |
0

上一篇:vsftpd被动模式配置

下一篇:没有了

给主人留下些什么吧!~~