Chinaunix首页 | 论坛 | 博客
  • 博客访问: 2339603
  • 博文数量: 168
  • 博客积分: 3184
  • 博客等级: 中校
  • 技术积分: 3959
  • 用 户 组: 普通用户
  • 注册时间: 2009-05-12 18:57
文章存档

2019年(1)

2018年(2)

2017年(3)

2016年(15)

2015年(10)

2014年(60)

2011年(1)

2010年(76)

分类: 架构设计与优化

2016-12-01 14:28:09

一、监控目标
    1.当系统可能或处于亚健康状态时及时提醒,预防故障发生
    2.报警提示 a.短信方式 b.邮件


二、监控内容


2.1 机器监控
    Kafka服务器指标
    CPU Load
    Disk IO
    Memory
    磁盘log.dirs目录下数据文件大小,要有定时清除策略


2.2 JVM监控
    主要监控Java的 GC time(垃圾回收时间),JAVA的垃圾回收机制对性能的影响比较明显


2.3 Kafka系统监控
1、Kafka总体监控
    zookeeper上/XXX/broker/ids目录下节点数量
    leader 选举频率


2、Kafka Broker监控
    kafka集群中Broker列表,broker运行状况,包括node下线,活跃数量
    Broker是否提供服务
    数据流量  流入速度,流出速度 (message / byte)
    ISR 收缩频率


3、Kafka Controller监控
    controller存活数目


4、Kafka Producer监控
    producer数量,排队情况
    请求响应时间
    QPS/分钟


5、Kafka Consumer监控
    consumer队列中排队请求数
    请求响应时间
    最近一分钟平均每秒请求数


6、Topic监控
    数据量大小;
    offset
    数据流量 流入速度,流出速度 (message / byte)


3.监控指标
3.1 JVM监控
    a.通过JMX获取GC time
    b.jvm full gc次数
    c.通过jmx监控kafka相关参数


3.2 kafka系统监控
监控数据获取方式
    1、生存节点信息可以从zookeeper获取
    2、除生存节点 和 
    a、Broker是否提供服务。
    b、Topic数据量大小,
    c、Topic的offset 外,其他数据都可以通过JMX获取

阅读(2044) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~