Chinaunix首页 | 论坛 | 博客
  • 博客访问: 833130
  • 博文数量: 139
  • 博客积分: 969
  • 博客等级: 准尉
  • 技术积分: 1725
  • 用 户 组: 普通用户
  • 注册时间: 2011-07-30 12:09
文章分类

全部博文(139)

文章存档

2021年(2)

2020年(4)

2019年(4)

2018年(33)

2017年(6)

2016年(13)

2014年(7)

2013年(23)

2012年(33)

2011年(14)

我的朋友

发布时间:2018-06-30 20:32:00

     分区模式将记录进行分类,但它并不关心记录的顺序。其主要目的是将数据集中相似的记录分成不同的、更小的数据集     分区主要原理是,自定义分区类继承Partitioner,根据业务需求实现分区函数 public int getPartition(Text key, Text value, int numPartitions),将Key相同的记.........【阅读全文】

阅读(2324) | 评论(0) | 转发(0)

发布时间:2021-02-26 10:46:43

  最近有个项目需求,有个数据转发服务,需要从kafka消息队列消费数据,然后转发到rabbitmq。要求转发数据不重复,且不能丢失数据。这里主要考虑转发的目的地址网络异常时,数据不能送达情况,当网络恢复时,要接着异常前发送的记录继续发送。  要来实现此功能,需要先清楚kafka消费原理:  kakfa用offs.........【阅读全文】

阅读(6188) | 评论(0) | 转发(0)

发布时间:2021-02-25 19:12:54

问题描述1、 测试反馈,设备有上报的数据,但管理页面显示设备状态离线分析思路:1、由于这个状态显示是实时计算的,之前业务判断逻辑是,当上报时间与当前系统处理时间超过15分钟,则认为设备异常。而当前设备上报是正常的,那么有可能是服务处理延迟。 分析过程:1、 查看kafka消息队列,发现消息队列.........【阅读全文】

阅读(227) | 评论(0) | 转发(0)

发布时间:2020-06-16 11:57:04

     最近线上有个java服务,启动的时候限制堆内存为512M,但当运行一段时间后,使用内存达到512M报io.netty.util.internal.OutOfDirectMemoryError: failed to allocate 16777216 byte(s) of direct memory (used: 520093703, max: 536870912),服务不能正常工作,初步怀疑内存泄漏导致。临时解决方案,先.........【阅读全文】

阅读(7789) | 评论(0) | 转发(0)

发布时间:2020-06-05 23:46:11

假如现有group1 中 有 节点A,B 。新增节点C。1、新节点storage C 启动的时候会创建线程tracker_report_thread_entrance,调用tracker_report_join向tracker 发送命令TRACKER_PROTO_CMD_STORAGE_JOIN(81)报告,自己的group名称,ip,端口,版本号,存储目录数,子目录数,启动时间,老数据是否同步完成,当前连.........【阅读全文】

阅读(7497) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册