awk分析磨屏日志（视讯中心）-linux

一个人不是生来要给打败的yangkai.blog.chinaunix.net

首页　| 　博文目录　| 　关于我

linux_kaige

博客访问： 1633471
博文数量： 409
博客积分： 6240
博客等级：准将
技术积分： 4908
用户组：普通用户
注册时间： 2011-06-01 00:04

文章分类

全部博文（409）

Oracle服务端应用（24）
信息安全（3）
网络（虚拟化等全（1）
代理服务器squid（2）
Hadoop 大数（1）
oracle的sql（1）
标准对照表（2）
ATM相关（2）
oracle异常处理（1）
oracle存储过程/（7）
oracle备份与恢复（12）
java（3）
db2（1）
环境搭建（4）
perl（0）
php（1）
python（0）
object（2）
HA（1）
sql（14）
mysql（3）
网卡流量监测（3）
web服务器（6）
hash（1）
我的ftp手册（7）
文档规范（1）
正则（2）
sed（2）
项目管理（28）
web压力测试（5）
linux系统管理（25）
shell（19）
linux应用（20）
随便一说（3）
其他（6）
kernel（1）
awk（17）
DB（21）
凯哥的linux私房（20）
未分配的博文（137）

文章存档

2021年（1）

2019年（1）

2017年（1）

2016年（13）

2015年（22）

2013年（4）

2012年（240）

2011年（127）

我的朋友

相关博文

awk分析磨屏日志（视讯中心）

分类： LINUX

2012-01-05 23:00:48

根据客户需求，拿出运营人员操作相关的日志。

1.找出打印的接口之类的日志

AdvertisementAction.java:125

AdvertisementAction.java:77

ContentUploadJob.java:41

Par***mlAction.java:49

[root@CMS1 log]# sed '1a AdvertisementAction.java:83' /home/yangkai/guize.txt

AdvertisementAction.java:125

AdvertisementAction.java:83

AdvertisementAction.java:77

ContentUploadJob.java:41

Par***mlAction.java:49

[root@CMS1 log]# sed 's/^/\$0!~\//g;s/$/\//g' /home/yangkai/guize.txt | awk 'BEGIN{OFS="&&"}{print }'

$0!~/AdvertisementAction.java:125/

$0!~/AdvertisementAction.java:83/

$0!~/AdvertisementAction.java:77/

$0!~/ContentUploadJob.java:41/

$0!~/Par***mlAction.java:49/

$0!~//

[root@CMS1 log]# sed 's/^/\$0!~\//g;s/$/\//g' /home/yangkai/guize.txt | awk 'BEGIN{ORS="||"}{$1=$1;print }'

$0!~/AdvertisementAction.java:125/||$0!~/AdvertisementAction.java:83/||$0!~/AdvertisementAction.java:77/||$0!~/ContentUploadJob.java:41/||$0!~/Par***mlAction.java:49/||$0!~//||[root@CMS1 log]#

2.发现符号不对，不能用||，得用&&。

[root@CMS1 log]#awk '$0!~/AdvertisementAction.java:125/&&$0!~/ContentUploadJob.java:41/&&$0!~/Par***mlAction.java:49/&&$0!~/AdvertisementAction.java:77/&&$0!~/AdvertisementAction.java:83/'mylo

my.log

基本可以。。。

3.写脚本：

//这样不对，for不能这么搞，破坏的for的格式

#!/bin/bash

for((i=1;i<17;i++))

echo "#########################已过滤完日志:my.log######################################"

awk '$0!~/AdvertisementAction.java:125/&&$0!~/ContentUploadJob.java:41/&&$0!~/Par***mlAction.java:49/&&$0!~/AdvertisementAction.java:77/&&$0!~/AdvertisementAction.java:83/&&$0!~/ContentUploadJob.java:39/' /opt/resin/log/my.log >>/home/yangkai/mtouch.log

echo "################################已过滤完日志:my.log.$i############################"

done

exit 0

标准：

#!/bin/bash

echo "################################正在已过滤完日志:my.log请等待############################"

for((i=1;i<17;i++))

echo "################################正在已过滤完日志:my.log.$i请等待############################"

done

exit 0

4.执行：10分钟左右，就ok了，**了，第一次没转入后台执行，结果vpn断了，悲剧。。。对于广告的，可以根据广告来搜索。

[root@CMS1 yangkai]# sh guolvlog.sh &

[1] 30604

[root@CMS1 yangkai]# ################################正在已过滤完日志:my.log请等待############################

################################正在已过滤完日志:my.log.1请等待############################

################################正在已过滤完日志:my.log.2请等待############################

################################正在已过滤完日志:my.log.3请等待############################

################################正在已过滤完日志:my.log.4请等待############################

################################正在已过滤完日志:my.log.5请等待############################

################################正在已过滤完日志:my.log.6请等待############################

################################正在已过滤完日志:my.log.7请等待############################

################################正在已过滤完日志:my.log.8请等待############################

################################正在已过滤完日志:my.log.9请等待############################

################################正在已过滤完日志:my.log.10请等待############################

################################正在已过滤完日志:my.log.11请等待############################

################################正在已过滤完日志:my.log.12请等待############################

################################正在已过滤完日志:my.log.13请等待############################

################################正在已过滤完日志:my.log.14请等待############################

################################正在已过滤完日志:my.log.15请等待############################

################################正在已过滤完日志:my.log.16请等待############################

[1]+ Done sh guolvlog.sh

5.结果：

[root@CMS1 yangkai]#

[root@CMS1 yangkai]# du -sh mtouch.log

265M mtouch.log

[root@CMS1 yangkai]# wc -l mtouch.log

1787785 mtouch.log

6.过程中cpu情况：

[root@CMS1 yangkai]#

top - 22:11:47 up 120 days, 12:19, 3 users, load average: 0.10, 0.06, 0.02

Tasks: 300 total, 3 running, 296 sleeping, 0 stopped, 1 zombie

Cpu(s): 12.5%us, 0.0%sy, 0.0%ni, 87.0%id, 0.5%wa, 0.0%hi, 0.0%si, 0.0%st

Mem: 15458304k total, 8233532k used, 7224772k free, 179088k buffers

Swap: 5406712k total, 0k used, 5406712k free, 6122084k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

29602 root 25 0 4380 1052 724 R 99.9 0.0 0:08.84 awk

1 root 15 0 2088 648 556 S 0.0 0.0 0:00.73 init

2 root RT -5 0 0 0 S 0.0 0.0 0:07.34 migration/0

3 root 34 19 0 0 0 S 0.0 0.0 0:00.05 ksoftirqd/0

4 root RT -5 0 0 0 S 0.0 0.0 0:00.00 watchdog/0

5 root RT -5 0 0 0 S 0.0 0.0 0:04.58 migration/1

6 root 34 19 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/1

7.哥的服务器配置：

[root@CMS1 log]# cat /proc/cpuinfo | grep "processor" | wc -l

[root@CMS1 log]#

[root@CMS1 log]# ll

total 2296376

-rw-r--r-- 1 root root 12537 Jan 5 21:53 ceshi1

-rw-r--r-- 1 root root 20724135 Jan 5 21:22 cms.log

-rw-r--r-- 1 root root 2896977 Jan 5 19:00 error.log

-rw-r--r-- 1 root root 52429980 Nov 13 00:03 error.log.1

-rw-r--r-- 1 root root 7450 Jan 5 22:02 guanggao.txt

-rw-r--r-- 1 root root 170 Jan 5 21:45 guize.txt

-rw-r--r-- 1 root root 1329322409 Jan 5 22:19 jvm-default.log

-rw-r--r-- 1 root root 45579573 Jan 5 22:19 my.log

-rw-r--r-- 1 root root 56952548 Jan 1 23:09 my.log.1

-rw-r--r-- 1 root root 54525749 Oct 31 19:12 my.log.10

-rw-r--r-- 1 root root 57418407 Oct 21 04:38 my.log.11

-rw-r--r-- 1 root root 57429476 Oct 7 06:36 my.log.12

-rw-r--r-- 1 root root 56627816 Sep 23 13:51 my.log.13

-rw-r--r-- 1 root root 53876739 Sep 2 11:11 my.log.14

-rw-r--r-- 1 root root 54068251 Aug 12 11:38 my.log.15

-rw-r--r-- 1 root root 53799033 Jul 23 12:32 my.log.16

-rw-r--r-- 1 root root 57188904 Dec 28 06:56 my.log.2

-rw-r--r-- 1 root root 54562452 Dec 24 17:00 my.log.3

-rw-r--r-- 1 root root 55762624 Dec 20 02:56 my.log.4

-rw-r--r-- 1 root root 56994704 Dec 14 13:14 my.log.5

-rw-r--r-- 1 root root 57061661 Dec 8 01:31 my.log.6

-rw-r--r-- 1 root root 57119639 Nov 30 20:29 my.log.7

-rw-r--r-- 1 root root 57268981 Nov 21 20:14 my.log.8

-rw-r--r-- 1 root root 57311772 Nov 11 17:18 my.log.9

-rw-r--r-- 1 root root 5574 Jan 5 21:47 rizhi1

-rw-r--r-- 1 root root 0 Jul 6 2011 stdout.log

-rw-r--r-- 1 root root 78823 Dec 22 23:01 watchdog-manager.log

[root@CMS1 log]#

//16GB的内存。

--------------------------------------------------------------------------------------------

##########################正在过滤日志my.log.13############################

##########################已在过滤日志my.log.13############################

靠啊，我的中文表达能力实在是无敌了，写的是什么啊，已被姚老师严重批评过了。。。

[root@CMS1 yangkai]# tar -ztvf huangjialog.tar.gz *.log

kefu.log

mtouch.log

zixun.log

[root@CMS1 yangkai]#

[root@CMS1 yangkai]# tar -zvft huangjialog.tar.gz

tar: You must specify one of the `-Acdtrux' options

Try `tar --help' or `tar --usage' for more information.

[root@CMS1 yangkai]# tar -ztvf huangjialog.tar.gz

-rw-r--r-- root/root 3272097 2012-01-06 17:05:58 kefu.log

-rw-r--r-- root/root 277511638 2012-01-05 22:34:11 mtouch.log

-rw-r--r-- root/root 366129398 2012-01-06 09:55:40 zixun.log

[root@CMS1 yangkai]#

一共10几GB的日志，过滤之后500多MB，压缩之后就47MB.

阅读(970) | 评论(0) | 转发(0) |

上一篇：shell 数组（for循环、while）

下一篇：关于测试

给主人留下些什么吧！~~

感谢所有关心和支持过ChinaUnix的朋友们

16024965号-6