发布时间:2018-06-30 20:32:00
分区模式将记录进行分类,但它并不关心记录的顺序。其主要目的是将数据集中相似的记录分成不同的、更小的数据集 分区主要原理是,自定义分区类继承Partitioner,根据业务需求实现分区函数 public int getPartition(Text key, Text value, int numPartitions),将Key相同的记.........【阅读全文】
发布时间:2021-02-26 10:46:43
最近有个项目需求,有个数据转发服务,需要从kafka消息队列消费数据,然后转发到rabbitmq。要求转发数据不重复,且不能丢失数据。这里主要考虑转发的目的地址网络异常时,数据不能送达情况,当网络恢复时,要接着异常前发送的记录继续发送。 要来实现此功能,需要先清楚kafka消费原理: kakfa用offs.........【阅读全文】
发布时间:2021-02-25 19:12:54
问题描述1、 测试反馈,设备有上报的数据,但管理页面显示设备状态离线分析思路:1、由于这个状态显示是实时计算的,之前业务判断逻辑是,当上报时间与当前系统处理时间超过15分钟,则认为设备异常。而当前设备上报是正常的,那么有可能是服务处理延迟。 分析过程:1、 查看kafka消息队列,发现消息队列.........【阅读全文】
发布时间:2020-06-16 11:57:04
最近线上有个java服务,启动的时候限制堆内存为512M,但当运行一段时间后,使用内存达到512M报io.netty.util.internal.OutOfDirectMemoryError: failed to allocate 16777216 byte(s) of direct memory (used: 520093703, max: 536870912),服务不能正常工作,初步怀疑内存泄漏导致。临时解决方案,先.........【阅读全文】
发布时间:2020-06-05 23:46:11
假如现有group1 中 有 节点A,B 。新增节点C。1、新节点storage C 启动的时候会创建线程tracker_report_thread_entrance,调用tracker_report_join向tracker 发送命令TRACKER_PROTO_CMD_STORAGE_JOIN(81)报告,自己的group名称,ip,端口,版本号,存储目录数,子目录数,启动时间,老数据是否同步完成,当前连.........【阅读全文】