awstats日志分析（4）

接上一篇

统计指标、配置文件及指令说明
1. 统计指标说明
参观者：按来访者不重复的IP统计，一个IP代表一个参观者；
参观次数：一个参观者可能1天之内参观多次（比如：上午一次，下午一次），所以按一定时间内（比如：1个小时），不重复的IP数统计，参观者 的访问次数；
网页数：不包括图片，CSS, JavaScript文件等的纯页面访问总数，但如果一个页面使用了多个帧，每个帧都算一个页面请求；
文件数：来自浏览器客户端的文件请求总数，包括图片，CSS，JavaScript等，用户请求一个页面是，如果页面中包含图片等，所以对服 务器会发出多次文件请求，文件数一般远远大于文件数；
字节：传给客户端的数据总流量；
来自REFERER中的数据：日志中的参考（REFERER）字段，记录了访问相应网页之前地址，因此如果用户是通过搜索引擎的搜索结果点击 进入网站的，日志中就会有用户在相应搜索引擎的查询地址，这个地址中就可以通过解析将用户查询使用的关键词提取出来：

AWStats在搜索引擎的关键短语和关键词统计方面的功能还是比较完整的：可以对全世界3百多种机器爬虫进行识别，并且可以识别大部分主流国际化搜索引擎和很多地区的本地语言搜索引擎。

awstats特点：

一个完整的awstats日志分析可以为您显示以下信息 ： 

*访问次数，以及独特的访客人数， 

*访问时间和最后一次访问， 

*身份验证的用户，最后验证的访问， 

*天一周繁忙时间（页，点击，每个小时，星期几KB的）， 

*域名/国家的主机访客（页，点击，KB的，269域/国家发现，geoip的检测）， 

*主机列表，上次访问的IP地址列表和未解决的， 

*最多人看的，进入和退出页面， 

*文件类型， 

*网压缩统计mod_gzip或mod_deflate（）， 

*操作系统的使用（页，访问，为每个操作系统，KB的35操作系统检测） 

*浏览器使用（页，点击，KB的每个浏览器，每个版本（网络，WAP，媒体浏览器：97浏览器，如果使用超过450 browsers_phone.pm库文件）， 

机器人*访问（319机器人检测）， 

*蠕虫攻击（5蠕虫的家庭）， 

*搜索引擎，关键词和关键字来寻找您的站点（115最著名的搜索引擎如雅虎发现，谷歌，AltaVista等..）， 

* HTTP错误（网页未与去年引荐，...),发现 

*其他有关网址，网址参数，引用者实地为基础的miscellanous /个性化的营销目的的报告， 

*您网站的次数是quot;添加到收藏夹bookmarksquot;。 

*屏幕尺寸（需要在索引页添加一些HTML标签）。 

*比的浏览器与支持：爪哇，闪光，RealG2读者，Quicktime的读者，读者的WMA，PDF阅读器（需要在索引页添加一些HTML标签）。 

*集群报告服务器负载均衡的比例。 

awstats的还支持以下功能 ： 

*可以分析大量的日志格式：Apache的自我评估相结合的日志文件（XLF /极低频）或普通（CLF）的，IIS日志文件（W3C）的，WebStar本地日志文件和其他网络，代理，WAP或流媒体服务器日志文件（但还FTP或邮件日志文件）。 查看awstats的常见问题的例子。 

*作品命令行，从作为一个过滤器的一些动态图表功能的CGI（浏览器）， 

*最新统计数据可以从一个网页浏览器，而不是只从你的调度程序， 

*无限日志文件的大小，支持分裂日志文件（负载平衡系统）， 

*支持'不正确排序的日志文件，甚至进入和退出页面， 

*反向分析之前或期间，支持DNS缓存文件的DNS查找， 

*插件国家从IP位置（使用geoip的国家域名数据库或客户端）检测， 

*插件城市从IP位置（使用geoip的城市数据库）检测， 

*插件的美国/加拿大地区，互联网服务提供商和/或组织的报告（需要非自由的第三个产品geoipregion，geoipisp和/或geoiporg数据库） 

* WHOIS查询联系， 

*很多选择/过滤器和插件可以使用， 

*多命名的网站支持（虚拟服务器，网络托管服务提供商的伟大）， 

*跨站脚本攻击的保护， 

*几种语言。 查看awstats的常见问题的完整列表。 

*没有稀有perl的库的需要。 所有基本perl的翻译可以awstats的工作， 

*动态报告中以CGI输出。 

*在一个静态的报告或框架的HTML / XHTML网页，实验PDF导出， 

*外观和颜色可以配合您的网站设计，可以使用CSS，

七、常见问题： 

问题一

在第一次进行日志分析时候就出错了 

[root@demo conf.d]# /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=

Error: AWStats database directory defined in config file by 'DirData' parameter (/var/lib/awstats) does not exist or is not writable.

Setup ('/etc/awstats/awstats..conf' file, web server or permissions) may be wrong.

Check config file, permissions and AWStats documentation (in 'docs' directory).

这个是因为在/etc/awstats/awstats..conf中DirData中定义的目录启动apache的用户没有写得权限，更改目录或更改权限都可以解决。 

问题二

出来的页面里所有的流量统计都是空的。 

同样是/etc/awstats/awstats..conf的问题，在这个文件里有一行 

LogFile="/var/log/httpd/mylog.log" 

我们一般情况下把这个路径改为”/var/log/apache/access.log”就可以了，如果你设了很多虚拟主机，每个主机都配置了不同的log的话，在这里指定你要统计的那个主机的log文件就可以了。 

问题三

浏览页面时提示没有权限，出现403错误，如下 

Forbidden

You don't have permission to access /awstats/awstats.pl on this server.

Additionally, a 403 Forbidden error was encountered while trying to use an ErrorDocument to handle the request

因为/usr/local/awstats这个目录默认属主是root，其他用户没有执行的权限，我把这个目录的权限改为755就可以了。但是理论上应该只需要改wwwroot的权限就可以了，很奇怪。 

更改默认的index文件，默认是index.html,我们可以根据自己的需要修改，比如我改为了  

DefaultFile="index.html index.php index.htm"

问题四

This means each line in your web server log file need to have "combined log format" like this:

111.22.33.44 - - [10/Jan/2001:02:14:14 +0200] "GET / HTTP/1.1" 200 1234 "" "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)"

And this is an example of records AWStats found in your log file (the record number 50 in your log):

122.156.203.24 - - [11/Apr/2010:00:03:07 +0800] "GET /upload/2009-9-3/zqg-shouye-090903.jpg HTTP/1.1" 200 27565

Setup ('/webserver/awstats/awstats.' file, web server or permissions) may be wrong.

Check config file, permissions and AWStats documentation (in 'docs' directory).

出现这个错误后，就不能分析日志了，这里主要是被分析主机日志格式造成的，一般我们用的日志格式都是简化的common的，但是这个分析我们要使用的是combined格式，修改后就没有问题了。

借鉴车东和刘辉博客中的介绍，非常感谢！

我也不想弄这么多篇，但是好像文章长度限制，只能进行截断分篇幅来发。