Chinaunix首页 | 论坛 | 博客
  • 博客访问: 29307488
  • 博文数量: 2065
  • 博客积分: 10377
  • 博客等级: 上将
  • 技术积分: 21525
  • 用 户 组: 普通用户
  • 注册时间: 2008-11-04 17:50
文章分类

全部博文(2065)

文章存档

2012年(2)

2011年(19)

2010年(1160)

2009年(969)

2008年(153)

分类: LINUX

2010-02-04 12:57:29

版权声明:原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://storysky.blog.51cto.com/628458/271560
  前几天写了篇文章是用AWK 来过滤NGINX 日志里面的特定值,但是光过滤出来了不行,还得要用啊,开发同事给我提出了新要求。让我统计 9:30~13:30 和13:30~17:30的这两个时间段每个小时的动态请求数,还有上面两个时间段里的 “action=xxxxx”这个值的种类和每种action的数量~~~,要求还真不少!
 
 说起来复杂其实做起来挺简单的,只要理清思路就好了!让我们先来解决第一个问题,每小时的动态请求数,我再看下NGINX日志的格式
  118.203.20.3 - - [16/Jan/2010:05:00:01 +0800] "POST /design/game.php HTTP/1.1" "check=085af328d69bd499fe47c4f484ea5dfb&cid=0&cuid=419884&oid=4×tamp=1263589204&action=researchOre" 200 277 "[[DYNAMIC]]/1" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; .NET CLR 2.0.50727)" -
 因为我们的动态请求都是通过php来完成的,所以我只要过滤出包含.php的行就可以了,时间段的选取可以交给 SED 来做,数量统计用 uniq -c ,好了开工吧!
 sed -n "/2010:13:30:00/,/2010:17:30:00/"p access_2010011605.log | awk -F: '/'.'php/{print $2}' |uniq -c
 168576 13
 301975 14
 285616 15
 299248 16
 154377 17
 因为日志比较大,所以时间稍微长了点,不过目的达到了,至于9:30~13:30直接改上面的时间就好了,在这里感谢下 给我提供帮助的三门同学;
 下面我们再看看09:30~13:30这段时间的 每种 action 的总和。
格式过滤出action 的方法上一篇文章《用AWK来过滤nginx日志中的特定值》已经写好了,生成文件的格式为
 202.113.30.144        25/Jan/2010:13:42:07        cuid=181188    action=compound   
124.227.66.162        25/Jan/2010:13:42:07        cuid=355287    action=plantInfo   
124.240.39.49        25/Jan/2010:13:42:07        action=researchLayer    cuid=496990   
121.236.118.126        25/Jan/2010:13:42:07        cuid=509590    action=oreInfo  

  我们就根据这个格式来统计,上面我已经生成好了这个文件名字叫 action.new
sed -n "/2010:09:30:00/,/2010:13:30:00/"p action.new |awk '{if($3~/^action/){print $3} else if($4~/^action/){print $4}}' |sort |uniq -c |sort -nr
 533271 action=plInfo
 132742 action=FriendPet
 101258 action=Info
  98091 action=oInfo
  84749 action=wInfo
  71751 action=Result
  71558 action=Quest
  63471 action=cQuest
  60886 action=qInfo
  58112 action=bag
  .....略
  在这里感谢下小I 同学的帮助
好了,把这几个结果交给开发的同事让他们去分析了。呵呵,希望这篇文章对朋友们有帮助~~~ O(∩_∩)O~

本文出自 “story的天空” 博客,请务必保留此出处http://storysky.blog.51cto.com/628458/271560


非常感谢原文作者,借此发表共享!谢谢

阅读(930) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~