Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1059760
  • 博文数量: 186
  • 博客积分: 4939
  • 博客等级: 上校
  • 技术积分: 2075
  • 用 户 组: 普通用户
  • 注册时间: 2010-04-08 17:15
文章分类

全部博文(186)

文章存档

2018年(1)

2017年(3)

2016年(11)

2015年(42)

2014年(21)

2013年(9)

2012年(18)

2011年(46)

2010年(35)

分类: 系统运维

2014-06-07 10:51:47

  当然OS和application的可以用rsyslog,但其缺点也不言而喻,UDP可能会导致丢数据,此外无法保留元数据信息,比如用户的ip/uid/fid等(后续还用这些做进一步处理等)。那么消息队列似乎更有优势,MemcacheQ,redis,qpid等。就ops来说redis应该是最简单的,publish/subsribe。一个发,一个订阅。

  #redis-cli publish topic msg

 然后客户端redis-cli subscribe topic
 
  比如在收集业务日志的时候,可以用这种方式获取metadata,然后启动curl/rsync等来抓取日志。注意这个message queue是异步的。
  公司用qpid来获取广告日志生成情况然后用Python来绘图。
阅读(1520) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~