发布时间：2017-09-29 14:45:41

每个人的场景，都各有不同。比如，你的全部日志一天大就10G以内的原始文本。既然是日志，那就不是非常重要了。但是却很有必需进行查看。那么单节点就是最好的选择。比如，阿里云的8C16G，可以处理20G一天的日志文本。或更多一些，当然单个高效云盘IO不够，磁盘用SSD太贵，可以用四个高效云盘，LVM做阵列。空间IO都有了。.........【阅读全文】

发布时间：2017-09-28 17:48:34

输出到redis http://www.rsyslog.com/plugins/#官网的插件列表，可以看到hiredis，但是是不能点击的。都好久好久好久了。。。。并不推荐使用redis 。 redis 吃的是内存空间，给多点吧浪费。少点吧，哪天es故障了。你redis 能挡几分钟几小时日志量？kafka速度也不慢，主要吃硬盘。硬盘大，挡个一二天都可以。(.........【阅读全文】

发布时间：2017-09-28 17:35:18

rsyslog 这种神器，当然是各种姿势都支持。。。kafka 必需可以template 跟 input ， 是一样的。主要是ruleset。ruleset(name="nginx") {action (queue.workerthreads="1"                    #队列的工作线程。type="omkafka"failedMsgFile="omkafka-failed.dat.........【阅读全文】

发布时间：2017-09-28 17:27:10

既然讲的是elk 场景下的采集日志。自然是说imfile 这个模块了。 但是为了让效果看的见，还需要omfile   模块。   out module file# vi /etc/rsyslog.d/test.conf   module(load="imfile")  module(load="omfile")#使用到什么模块，加载template(name="ThisIsTemplateName" type="str.........【阅读全文】

发布时间：2017-09-27 18:52:25

本系列，使用学习场景，是基于elk的采集端。。就是只是采集文本后，rsyslog怎么处理的各种常用姿势。。。centos 6 7架构就是   rsyslog  --tcp方式-->  logstash -->es      ，或者，  rsyslog   ---> redis,kafka  -->logstash -->  es-----------------------.........【阅读全文】