Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1419164
  • 博文数量: 276
  • 博客积分: 1574
  • 博客等级: 上尉
  • 技术积分: 2893
  • 用 户 组: 普通用户
  • 注册时间: 2010-05-26 23:23
个人简介

生活的美妙在于,不知道一下秒是惊艳还是伤神,时光流转,珍惜现在的拥有的时光

文章分类

全部博文(276)

文章存档

2017年(17)

2016年(131)

2015年(63)

2013年(2)

2012年(32)

2011年(31)

分类: 系统运维

2017-06-12 01:24:01

logstash配置文件如下:

点击(此处)折叠或打开

  1. input{
  2.     kafka{
  3.         bootstrap_servers => "xxxx:9092,xxxx:9092,dw72.xxxx.:9092,...."
  4.         group_id => "xxxx_service_server_logstash"
  5.         topics => ["xxxx_service_server_error", "xxxx_service_server_runtime"]
  6.         auto_offset_reset => latest
  7.             codec => "json"
  8.         consumer_threads => 10
  9.         auto_commit_interval_ms => 500
  10.     }
  11. }

  12. filter {
  13.         grok {
  14.                 #patterns_dir => ["./patterns"]
  15.                 match => {
  16.                         "message" => "%{TIMESTAMP_ISO8601:logdatetime}"
  17.                 }
  18.         }
  19.         date {
  20.                 match => [ "logdatetime", "yyyy-MM-dd HH:mm:ss"]
  21.                 target => "@timestamp"
  22. # timezone => "Asia/Shanghai"
  23.                 timezone => "+00:00"
  24.                 locale => "en"
  25.         }
  26. }

  27. output{
  28.         elasticsearch{
  29.             hosts => ["192.168.1.89:9200"]
  30.                 action => "index"
  31.             index => "%{[type]}-%{+YYYY.MM.dd}"
  32.             flush_size => 8000
  33.         }
  34. }
主要关注两个问题:
1.event的timestamp问题,中国区会显示比实际的时间早8个小时(一般不建议修改时间,国际标准,在kibana中做处理。),这里只有国内的服务器,显示为区域时间比较好看,所以我就改了。
2.es 的index根据filebeat中的document_type自动创建index。
阅读(1525) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~