win2003系统事件日志统计shell脚本

准备步骤：

1.事件日志导出为txt （默认的evt格式不便处理），压缩

2.通过各种途径，获取到本地linux系统

3.执行format_app_log.sh

#!/bin/bash
#Author:personball
#Date:2012-8-6

if [ $# -ne 2 ]
then
echo "Usage:$0 FILENAME NEWNAME"
exit 1
fi

file=$1 #待处理文件，来自win2003事件查看器导出为txt形式的事件日志记录
newfile=$2 #处理后的新文件名
iconv -f gbk -t utf8 $file >/tmp/app_tmp.$$ #编码处理gbk转为utf8
cat /tmp/app_tmp.$$|tr '^M' '\n' >$newfile #处理win系统的回车换行(^M=ctrl+v+Enter)
sed -i '/^2012/ s/"/\n/' $newfile #处理掉首个双引号
cat $newfile|tr '\n"' '\t\n'|tr '\t' ' '|tr -s ' ' >/tmp/app_tmp2.$$ #多行处理为
单行，利用后一个双引号分隔记录
sed 's/\t*//' /tmp/app_tmp2.$$ >$newfile #处理行首制表符

exit 0

4.执行app_event_deal.sh

#!/bin/bash
#Author:personball
#Date:2012-8-6

if [ $# -ne 2 ]
then
echo "Usage:$0 FileName yyyy-MM-dd"
exit 1
fi

file=$1 #文件需经过预处理
_date=$2 #yyyy-MM-dd 日期如 2012-8-6

#提取记录
awk '$1~/^'$_date'/{print}' $file >app_log.$_date
#制作报表
total=`cat app_log.$_date|wc -l`
totalEx=`grep "异常类型" -c app_log.$_date`
grep -v "异常类型" app_log.$_date >app_log.$_date.NotEx
grep -oP "异常类型: [^ ]*" app_log.$_date|awk -F: '{a[$2]++} END{for(i in a)print i" "a[i]}' > app_log.$_date.Ex

while read a b
do
grep "$a" app_log.$_date >app_log.$_date.Ex_${a}_${b} #导出各类异常日志内容
done

echo "异常类型事件总计：$totalEx/$total" >> app_log.$_date.Ex

mkdir $_date
mv app_log.$_date* ./$_date

exit 0

用途： =  =其实是为了有点马后炮式的bug修补（前期测试不健壮。。），聊胜于无。。

最后附一些日志内容的样本吧，当然公家的某些信息要先处理下。。。

原始日志内容：

2012-8-7 8:52:33 ASP.NET 2.0.50727.0 ???? Web ???  1309 N/    ???? URL:     ???????:    ??
   ?? xxx.Page_Load(Object sender, EventArgs e)
   ?? System.Web.Util.CalliHelper.EventArgFunctionCaller(IntPtr fp, Object o, Object t, EventArgs e)
   ?? System.Web.Util.CalliEventHandlerDelegateProxy.Callback(Object sender, EventArgs e)
   ?? System.Web.UI.Control.OnLoad(EventArgs e)
   ?? System.Web.UI.Control.LoadRecursive()
   ?? System.Web.UI.Page.ProcessRequestMain(Boolean includeStagesBeforeAsyncPoint, Boolean includeStagesAfterAsyncPoint)

经脚本format_app_log.sh格式化后：

2012-8-7 8:52:33 ASP.NET 2.0.50727.0 警告 Web 事件 1309 N/A xxxxx 事件代码: 3005 事件消息: 发生了未处理的异常。 事件时间: 2012-8-7 8:52:33 事件时间(UTC): 2012-8-7 0:52:33 事件 ID: 9dfe91df97984d508bf805e03d9d1f3e 事件序列: 61534 事件匹配项: 24 事件详细信息代码: 0 应用程序信息: 应用程序域: /xxxxx 信任级别: Full 应用程序虚拟路径: / 应用程序路径: xxxxxxxx 计算机名:xxxxx 进程信息: 进程 ID: 2648 进程名: w3wp.exe 帐户名: xxxx异常信息: 异常类型: Exception 异常消息: 超时时间已到。在操作完成之前超时时间已过或服务器未响应。 请求信息: 请求 URL: /xxxxxx 请求路径: /xxxxxx.aspx 用户主机地址:x.x.x.x 用户: 是否已经过身份验证: False 身份验证类型: 线程帐户名: xxxxxxx 线程信息: 线程 ID: 7 线程帐户名: xxxxxxx 是否正在模拟: False 堆栈跟踪: 在 xxxxxx.xxxx(String xxxxx, xxxxxx) 在 xxxxxx.Page_Load(Object sender, EventArgs e) 在 System.Web.Util.CalliHelper.EventArgFunctionCaller(IntPtr fp, Object o, Object t, EventArgs e) 在 System.Web.Util.CalliEventHandlerDelegateProxy.Callback(Object sender, EventArgs e) 在 System.Web.UI.Control.OnLoad(EventArgs e) 在 System.Web.UI.Control.LoadRecursive() 在 System.Web.UI.Page.ProcessRequestMain(Boolean includeStagesBeforeAsyncPoint, Boolean includeStagesAfterAsyncPoint) 自定义事件详细信息:

统计结果以及提取的各文件：

数数结果

personball@vostro:2012-8-6$cat app_log.2012-8-6.Ex
ArgumentOutOfRangeException 2
NullReferenceException 18
Exception 78
IndexOutOfRangeException 8
ThreadAbortException 2
InvalidOperationException 135
HttpException 71
SqlException 102
ApplicationException 15
FormatException 10
IOException 88
ArgumentException 35
SmtpException 1
异常类型事件总计：565/570

其他文件，文件内容，基本就是同一异常的日志汇总到一个文件中：

personball@vostro:2012-8-6$ls
app_log.2012-8-6
app_log.2012-8-6.Ex
app_log.2012-8-6.Ex_ApplicationException_15
app_log.2012-8-6.Ex_ArgumentException_35
app_log.2012-8-6.Ex_ArgumentOutOfRangeException_2
app_log.2012-8-6.Ex_Exception_78
app_log.2012-8-6.Ex_FormatException_10
app_log.2012-8-6.Ex_HttpException_71
app_log.2012-8-6.Ex_IndexOutOfRangeException_8
app_log.2012-8-6.Ex_InvalidOperationException_135
app_log.2012-8-6.Ex_IOException_88
app_log.2012-8-6.Ex_NullReferenceException_18
app_log.2012-8-6.Ex_SmtpException_1
app_log.2012-8-6.Ex_SqlException_102
app_log.2012-8-6.Ex_ThreadAbortException_2
app_log.2012-8-6.NotEx