Chinaunix首页 | 论坛 | 博客
  • 博客访问: 31132
  • 博文数量: 9
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 102
  • 用 户 组: 普通用户
  • 注册时间: 2017-04-19 14:41
文章分类

全部博文(9)

文章存档

2017年(9)

我的朋友

发布时间:2017-09-29 14:45:41

每个人的场景,都各有不同。比如,你的全部日志一天大就10G以内的原始文本。既然是日志,那就不是非常重要了。但是却很有必需进行查看。那么单节点就是最好的选择。比如,阿里云的8C16G,可以处理20G一天的日志文本。或更多一些,当然单个高效云盘IO不够,磁盘用SSD太贵,可以用四个高效云盘,LVM做阵列。空间IO都有了。.........【阅读全文】

阅读(2977) | 评论(0) | 转发(0)

发布时间:2017-09-28 17:48:34

输出到redis http://www.rsyslog.com/plugins/#官网的插件列表,可以看到hiredis,但是是不能点击的。都好久好久好久了。。。。并不推荐使用redis 。 redis 吃的是内存空间,给多点吧浪费。少点吧,哪天es故障了。你redis 能挡几分钟几小时日志量?kafka速度也不慢,主要吃硬盘。硬盘大,挡个一二天都可以。(.........【阅读全文】

阅读(1417) | 评论(0) | 转发(0)

发布时间:2017-09-28 17:35:18

rsyslog 这种神器,当然是各种姿势都支持。。。kafka 必需可以template 跟 input , 是一样的。主要是ruleset。ruleset(name="nginx") {action (queue.workerthreads="1"                    #队列的工作线程。type="omkafka"failedMsgFile="omkafka-failed.dat.........【阅读全文】

阅读(1358) | 评论(0) | 转发(0)

发布时间:2017-09-28 17:27:10

既然讲的是elk 场景下的采集日志。自然是说imfile 这个模块了。 但是为了让效果看的见,还需要omfile   模块。   out module file# vi /etc/rsyslog.d/test.conf   module(load="imfile")  module(load="omfile")#使用到什么模块,加载template(name="ThisIsTemplateName" type="str.........【阅读全文】

阅读(4628) | 评论(0) | 转发(0)

发布时间:2017-09-27 18:52:25

本系列,使用学习场景,是基于elk的采集端。。就是只是采集文本后,rsyslog怎么处理的各种常用姿势。。。centos 6 7架构就是   rsyslog  --tcp方式-->  logstash -->es      ,或者,  rsyslog   ---> redis,kafka  -->logstash -->  es-----------------------.........【阅读全文】

阅读(2691) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册