发布时间：2018-06-30 20:32:00
分区模式将记录进行分类，但它并不关心记录的顺序。其主要目的是将数据集中相似的记录分成不同的、更小的数据集 分区主要原理是，自定义分区类继承Partitioner，根据业务需求实现分区函数 public int getPartition(Text key, Text value, int numPartitions)，将Key相同的记.........【阅读全文】
发布时间：2021-02-26 10:46:43
最近有个项目需求，有个数据转发服务，需要从kafka消息队列消费数据，然后转发到rabbitmq。要求转发数据不重复，且不能丢失数据。这里主要考虑转发的目的地址网络异常时，数据不能送达情况，当网络恢复时，要接着异常前发送的记录继续发送。 要来实现此功能，需要先清楚kafka消费原理： kakfa用offs.........【阅读全文】
发布时间：2021-02-25 19:12:54
问题描述1、 测试反馈，设备有上报的数据，但管理页面显示设备状态离线分析思路：1、由于这个状态显示是实时计算的，之前业务判断逻辑是，当上报时间与当前系统处理时间超过15分钟，则认为设备异常。而当前设备上报是正常的，那么有可能是服务处理延迟。 分析过程：1、 查看kafka消息队列，发现消息队列.........【阅读全文】
发布时间：2020-06-16 11:57:04
最近线上有个java服务，启动的时候限制堆内存为512M，但当运行一段时间后，使用内存达到512M报io.netty.util.internal.OutOfDirectMemoryError: failed to allocate 16777216 byte(s) of direct memory (used: 520093703, max: 536870912)，服务不能正常工作，初步怀疑内存泄漏导致。临时解决方案，先.........【阅读全文】
发布时间：2020-06-05 23:46:11
假如现有group1 中 有 节点A，B 。新增节点C。1、新节点storage C 启动的时候会创建线程tracker_report_thread_entrance，调用tracker_report_join向tracker 发送命令TRACKER_PROTO_CMD_STORAGE_JOIN（81）报告，自己的group名称，ip,端口，版本号，存储目录数，子目录数，启动时间，老数据是否同步完成，当前连.........【阅读全文】
