发布时间:2018-10-08 16:21:52
前一段时间参与哨兵流式监控功能设计,调研了两个可以做流式计算的框架:storm和spark streaming,我负责storm的调研工作。断断续续花了一周的时间看了官网上的doc和网络上的一些资料。我把所学到的总结成一个文档,发出来给对storm感兴趣的同事做入门引导。随着互联网的更进一步发展,从Portal信息浏览型到Search信.........【阅读全文】
发布时间:2018-10-07 15:17:17
本文主要介绍如何使用RabbitMQ消息代理来实现分布式系统之间的通信,从而促进微服务的松耦合。异步消息管理和监控安装在微服务中使用RabbitMQ无论在哪里,只要有两个或两个以上的核心模块需要相互通信,我们就不应该进行直接的HTTP调用,因为它们会使核心层产生紧耦合,并且当每个核心模块有更多实例.........【阅读全文】
发布时间:2018-10-06 15:03:33
durid简介durid基础架构1、broker node(代理节点)2、historical node(历史节点)3、coordinator node(协调节点) 4、overlord node(index service 可以理解为任务管理节点) 5、middleManager node(可以理解为overlord节点的工作节点) .........【阅读全文】
发布时间:2018-10-05 15:05:02
Kafka镜像即已有Kafka集群的副本。下图展示如何使用MirrorMaker工具创建从源Kafka集群(source cluster)到目标Kafka集群(target cluster)的镜像。该工具通过Kafka consumer从源Kafka集群消费数据,然后通过一个内置的Kafka producer将数据重新推送到目标Kafka集群。使用MirrorMaker创建镜像是比较简单的,搭建.........【阅读全文】