当然OS和application的可以用rsyslog,但其缺点也不言而喻，UDP可能会导致丢数据，此外无法保留元数据信息，比如用户的ip/uid/fid等（后续还用这些做进一步处理等）。那么消息队列似乎更有优势，MemcacheQ,redis,qpid等。就ops来说redis应该是最简单的，publish/subsribe。一个发，一个订阅。
#redis-cli publish topic msg
然后客户端redis-cli subscribe topic
比如在收集业务日志的时候，可以用这种方式获取metadata,然后启动curl/rsync等来抓取日志。注意这个message queue是异步的。
公司用qpid来获取广告日志生成情况然后用Python来绘图。
阅读(1581) | 评论(0) | 转发(0) |
