搭建ELK日志分析工具步骤

环境准备：

1.   安装java

1、 下载JDK

2、 解压 tar zxf jdk-7u60-linux-x64.tar.gz

3、  mv jdk1.7.0_60   /usr/jdk（将jdk移到/usr目录）

3、  修改环境变量

4、编辑配置文件:/etc/profile

增加内容： JAVA_HOME=/usr/jdk

PATH=$JAVA_HOME/bin:$PATH

编辑完环境变量之后加载一下：source /etc/profile

加载之后可以使用java -version命令测试一下修改环境变量是否成功

2.   安装Apache

    1、 rpm    -qa    httpd   检测是否安装的有

      2、 yum      -y   install      httpd   

      3、 chkconfig    httpd  on

4、service httpd start  启动软件

3.安装Nginx

yum install gcc*

useradd -M -s /sbin/nologin nginx

yum install pcre-devel.x86_64 

yum install openssl-devel.x86_64 

下载nginx 1.7.8
wget
tar -zxvf nginx-1.7.8.tar.gz
cd nginx-1.7.8.tar.gz

./configure --user=nginx --group=nginx --prefix=/usr/local/nginx-1.7.8 --with-http_stub_status_module --with-http_ssl_module --with-http_gzip_static_module  --with-pcre

make

make install

 

搭建ELK软件要求：

操作系统版本：CentOS 6.4及以上；

JDK版本：1.7.0及以上；

Logstash版本：1.4.2；

ElasticSearch版本：1.4.2；

Kibana版本：3.1.2；

防火墙配置：

1.防火墙如果未开启，则不用执行以下步骤，直接安装elasticsearch。

2.如果防火墙开启，为了正常使用HTTP服务等，要在iptables中打开相关的端口： # vim /etc/sysconfig/iptables 

在-A INPUT -p tcp -m state --state NEW -m tcp --dport 22 -j ACCEPT下面添加如下三句：

-A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT 

-A INPUT -m state --state NEW -m tcp -p tcp --dport 9200 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp --dport 9292 -j ACCEPT

之后重启防火墙。

安装ElasticSearch：

ElasticSearch默认的对外服务的HTTP端口是9200，节点间交互的TCP端口是9300

1.创建存放目录并且换到该目录下： 

mkdir -p /opt/software && cd /opt/software

2.将资源包导入该目录下，资源包为elasticsearch-1.4.2.tar.gz，kibana-3.1.2.tar.gz，logstash-1.4.2.tar.gz，master.tar.gz。

3.解压  tar -zxvf elasticsearch-1.4.2.tar.gz -C /usr/local/

4.创建连接  ln -s /usr/local/elasticsearch-1.4.2 /usr/local/elasticsearch

安装Elasticsearch-servicewrapper

1.解压   tar -zxvf master.tar.gz

2.将elasticsearch-servicewrapper-master的service拷贝到elasticsearch的bin目录下

 cp /opt/software/elasticsearch-servicewrapper-master/service /usr/local/elasticsearch/bin/   

3.修改ElasticSearch的配置文件，追加一行内容，并重启ElasticSearch服务：

 vim /usr/local/elasticsearch/config/elasticsearch.yml 

 http.cors.enabled: true 

4.启动ElasticSearch  

/usr/local/elasticsearch/bin/service/elasticsearch start

测试：curl -X GET 出现下图样式，代表基本成功

安装与配置Logstash

1.解压      tar -zxvf logstash-1.4.2.tar.gz -C /usr/local/ 

2.创建连接   ln -s /usr/local/logstash-1.4.2 /usr/local/logstash  

3.简单测试Logstash服务是否正常，预期可以将输入内容以简单的日志形式打印在界面上：

/usr/local/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'

配置Logstash

4.1配置Logstash 

Logstash的配置主要关注三个变量，下面将分别介绍三个变量。

 type：该变量为输入日志的类型。通过type的配置可以方便在界面上通过索引进行查找。

 如本系统目前有processor，manager，ffmpeg三种类型需要在界面上进行显示。

 而为了区分是哪个服务器上的日志，可以在type的值后面加上Logstash所在服务器IP。

 path：该变量表示输入日志的路径，为日志的绝对路径。

 host：该变量为存储Logstash收集到的日志的ElasticSearch所在服务器的IP

 例：配置文件如下：vi /usr/local/logstash/etc/hello _search.conf（hello文件是自己创建的）

input {

     file {

     type => "manager_172.16.5.190"

     path => ["/home/houmr/et/liang/mgr/log/et_manager.log"]

         }

 filter {

 grok {

 pattern => "(?\d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{2},\d{3})\s(?\w*)\s"

 }

 }

 output {

 elasticsearch {

 host => "172.16.5.190"

 port => 9300

 }

 }

常用插件安装

安装head插件：

/usr/share/elasticsearch/bin/plugin -install mobz/elasticsearch-head

测试：

curl -X GET

插件测试：

安装kopf插件

elasticsearch有大量插件资源，用于增加其功能，bin目录下，输入

./plugin list 可以查看当前安装的插件列表，我们刚刚全新安装，输出的是一个空列表，继续输入

./plugin install lmenezes/elasticsearch-kopf

安装完毕之后重启elasticsearch

/usr/local/elasticsearch/bin/service/elasticsearch start

插件测试：

以上没有问题的话建议改用nohup ./elasticsearch & 将其做为后台进程运行，以免退出。