Chinaunix首页 | 论坛 | 博客
  • 博客访问: 15323
  • 博文数量: 28
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 322
  • 用 户 组: 普通用户
  • 注册时间: 2018-09-03 21:42
文章分类
文章存档

2018年(28)

我的朋友

发布时间:2018-10-08 16:21:52

前一段时间参与哨兵流式监控功能设计,调研了两个可以做流式计算的框架:storm和spark streaming,我负责storm的调研工作。断断续续花了一周的时间看了官网上的doc和网络上的一些资料。我把所学到的总结成一个文档,发出来给对storm感兴趣的同事做入门引导。随着互联网的更进一步发展,从Portal信息浏览型到Search信.........【阅读全文】

阅读(42) | 评论(0) | 转发(0)

发布时间:2018-10-07 15:17:17

本文主要介绍如何使用RabbitMQ消息代理来实现分布式系统之间的通信,从而促进微服务的松耦合。异步消息管理和监控安装在微服务中使用RabbitMQ无论在哪里,只要有两个或两个以上的核心模块需要相互通信,我们就不应该进行直接的HTTP调用,因为它们会使核心层产生紧耦合,并且当每个核心模块有更多实例.........【阅读全文】

阅读(2356) | 评论(0) | 转发(0)

发布时间:2018-10-06 15:03:33

durid简介durid基础架构1、broker node(代理节点)2、historical node(历史节点)3、coordinator node(协调节点) 4、overlord node(index service 可以理解为任务管理节点) 5、middleManager node(可以理解为overlord节点的工作节点)   .........【阅读全文】

阅读(92) | 评论(0) | 转发(0)

发布时间:2018-10-05 15:05:02

Kafka镜像即已有Kafka集群的副本。下图展示如何使用MirrorMaker工具创建从源Kafka集群(source cluster)到目标Kafka集群(target cluster)的镜像。该工具通过Kafka consumer从源Kafka集群消费数据,然后通过一个内置的Kafka producer将数据重新推送到目标Kafka集群。使用MirrorMaker创建镜像是比较简单的,搭建.........【阅读全文】

阅读(10612) | 评论(1) | 转发(1)

发布时间:2018-09-29 19:06:13

 RDD:弹性分布式数据集,是一种特殊集合 ? 支持多种来源 ? 有容错机制 ? 可以被缓存 ? 支持并行操作,一个RDD代表一个分区里的数据集     Transformation(转换):Transformation属于延迟计算,当一个RDD转换成另一个RDD时并没有立即进行转换,仅仅是记住了.........【阅读全文】

阅读(60) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册