Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1155008
  • 博文数量: 188
  • 博客积分: 2267
  • 博客等级: 大尉
  • 技术积分: 1907
  • 用 户 组: 普通用户
  • 注册时间: 2011-08-01 11:17
文章分类

全部博文(188)

文章存档

2016年(16)

2015年(16)

2014年(12)

2013年(32)

2012年(45)

2011年(67)

分类: 系统运维

2015-11-12 09:30:34

随着业务的增长,web服务器的增加,网站规模扩张,作为系统管理员需要分析网站的访问情况,在应用层方面,我们可以嵌入js来统计网站的pv 独立ip,回头率,访问区域热点图等,常见的有piwiki ,cnzz站长数据统计,在系统管理层方面常见的nginx 日志分析工具有很多,goAccess,awstats..  这里主要介绍如何在centos 6.5 上面安装ELK,以及logstash的grok,mutate,进入正题

192.168.1.49 # redis 服务器,角色broker
192.168.1.139 # logstash 角色 indexer 服务器,集成elasticsearch, kibana,必须有安装web服务
192.168.1.65  # nginx服务器,角色生产服务器,logstash需要收集它的日志  

安装logstash-1.4.2

点击(此处)折叠或打开

  1. #yum -y install java-1.7.0-openjdk
  2. #wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz
  3. #tar xzvf logstash-1.4.2.tar.gz -C /app/ && mv logstash-1.4.2 logstash
  4. #mkdir  -p /app/logstash/conf
测试安装

点击(此处)折叠或打开

  1. # ./logstash -e 'input { stdin { } } output { stdout {} }'
输入“hello,world”, 如果出现类似下图,说明logstash正常工作

下一步,安装 elasticsearch-1.4.2

点击(此处)折叠或打开

  1. #wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.2.tar.gz
  2. #tar xzvf  elasticsearch-1.4.2.tar.gz -C /app/
  3. #cd /app/elasticsearch-1.4.2/config
修改elasticsearch配置文件elasticsearch.yml,并且修改以下记录

点击(此处)折叠或打开

  1. discovery.zen.ping.multicast.enabled: false  #关闭广播,如果局域网有机器开9300 端口,服务会启动不了
  2. network.host: 192.168.1.139                  #指定主机地址,其实是可选的,但是最好指定因为后面跟kibana集成的时候会报http连接出错(直观体现好像是监听了:::9200 而不是0.0.0.0:9200)
  3. http.cors.allow-origin: "/.*/"              
  4. http.cors.enabled: true                      #这2项都是解决跟kibana集成的问题,错误体现是 你的 elasticsearch 版本过低,其实不是
启动elasticsearch

点击(此处)折叠或打开

  1. #./elasticsearch   # 配置阶段建议直接启动,日志会输出到stdout,-d 选项表示以daemon的方式启动,如果没有出现error ,表示服务正常启动
测试logstash 跟elasticsearch数据交互

点击(此处)折叠或打开

  1. #bin/logstash -e 'input { stdin { } } output { elasticsearch { host => 192.168.1.139 } }'
  2. 输入you know, for logs
  3. # curl ':9200/_search?pretty' # 如果有输出且没有出现错误表示服务器交互成功
安装kibana

点击(此处)折叠或打开

  1. #cd /app/logstash/vendor
  2. #vim kibana/config.js   #elasticsearch: "http://"+window.location.hostname+":9200",修改成":9200"
  3. #cp -Rv  kibana  /path/to/wwwroot
访问url /kibana/index.html 不报错表示OK
安装redis-server(192.168.1.49)

点击(此处)折叠或打开

  1. #tar xzvf redis-2.6.16.tar.gz -C /app
  2. #cd /app/redis-2.6.16 && mkdir conf
  3. #make target=linux26
  4. #./src/redis-server redis.conf  # daemonize yes 使用默认的配置文件
集成logstash  redis(192.168.1.139)

点击(此处)折叠或打开

  1. #vim /app/logstash/conf/nginx_acces.conf # 如下内容
  2. input {
        redis {
            host => '192.168.1.49'  # 我方便测试没有指定password,最好指定password
            data_type => 'list'
            port => "6379"
            key => 'logstash:redis' #自定义
            type => 'redis-input'   #自定义
        }
    }
    output {
        elasticsearch {
            host => "192.168.1.139"
            codec => "json"
            protocol => "http"  #版本1.0+ 必须指定协议http
        }
    }


验证配置文件

点击(此处)折叠或打开

  1. #bin/logstash -f nginx_access.conf -t  # 无误后启动
  2. #bin/logstash -f nginx_access.conf  --verbose # 要检查错误 --debug


安装logstash 日志入口节点(192.168.1.65),logstash 安装方式和139上面雷同,主要是配置文件nginx_access.conf

点击(此处)折叠或打开

  1. input {
  2.     file {
  3.         type => "nginx_access"
  4.         path => "/app/nginx/logs/test.log"
  5.     }
  6. }


  7. output {
  8.     stdout { codec => rubydebug }
  9.     redis {
  10.         host => '192.168.1.49'
  11.         data_type => 'list'
  12.         key => 'logstash:redis'
  13.     }
  14. }
测试节点跟redis的交互,如图所示

redis服务器上面如图

OK,没有问题,下一步如何用logstash 分析nginx 访问日志

==============================================================
logstash 的工作流程分为3个核心部分,input  filter output,input 事件定义数据来源,filter 定义如何处理数据流,output顾名思义输出到哪儿,常见的工作是如何格式化输出日志
大部分都是用filter的grok,mutate,grok 按官方的解释是格式化日志输出方便以后查询,是按照预先定义的pattern 解析日志,mutate 用的最多是修改日志,格式化“filed”,
如图是未经格式化的nginx日志


经过格式化后日志


设定NGINX 访问grok 

点击(此处)折叠或打开

  1. #cd /app/logstash/patterns 
  2. #vim nginx  #内容如下,本例只针对linux的默认访问日志
  3. NGUSERNAME [a-zA-Z\.\@\-\+_%]+
    NGUSER %{NGUSERNAME}
    NGINXACCESS %{IPORHOST:remote_addr} - - \[%{HTTPDATE:time_local}\] "%{WORD:method} %{URIPATH:path}(?:%{URIPARAM:param})? HTTP/%{NUMBER:httpversion}" %{INT:status} %{INT:body_bytes_sent} %{QS:http_referer} %{QS:http_user_agent}
    #NGINXACCESS %{IPORHOST:remote_addr} - - \[%{HTTPDATE:time_local}\] "%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}" %{INT:status} %{INT:body_bytes_sent} %{QS:http_referer} %{QS:http_user_agent}
  4. #chown 1002:1002 nginx # 修改文件属组,否则无法加载pattern

关于pattern的debug 可以用官网推荐的线上debug工具 附图

修改logstash nginx_access配置文件,内容如下

点击(此处)折叠或打开

  1. input {
  2.     file {
  3.         type => "nginx_access"
  4.         path => "/app/nginx/logs/test.log"
  5.     }
  6. }
  7. #input { stdin { } }  #方便测试

  8. filter {
  9.    grok {
  10.        match => { "message" => "%{NGINXACCESS}" }
  11.    }
  12.    #mutate {
  13.        #gsub => ["param","\?",""]                   
  14.        #split => ["request" ,"?"]
  15.        #add_field => ["params", "%{request[1]}"] #split 数组取值
  16.        #remove_field => ["request"]
  17. # }
  18. # date {
  19. # match => [ "time_local" , "dd/MMM/yyyy:HH:mm:ss Z" ]
  20. # }

  21. }


  22. output {
  23.     stdout { codec => rubydebug }
  24.     redis {
  25.         host => '192.168.1.49'
  26.         data_type => 'list'
  27.         key => 'logstash:redis'
  28.     }
  29. }
附上kibana 展示图一张





阅读(1029) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~