Chinaunix首页 | 论坛 | 博客
  • 博客访问: 170975
  • 博文数量: 30
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 342
  • 用 户 组: 普通用户
  • 注册时间: 2018-09-03 21:42
文章分类
文章存档

2018年(30)

我的朋友

发布时间:2018-10-05 15:05:02

Kafka镜像即已有Kafka集群的副本。下图展示如何使用MirrorMaker工具创建从源Kafka集群(source cluster)到目标Kafka集群(target cluster)的镜像。该工具通过Kafka consumer从源Kafka集群消费数据,然后通过一个内置的Kafka producer将数据重新推送到目标Kafka集群。使用MirrorMaker创建镜像是比较简单的,搭建.........【阅读全文】

阅读(50090) | 评论(1) | 转发(1)

发布时间:2018-09-29 19:06:13

 RDD:弹性分布式数据集,是一种特殊集合 ? 支持多种来源 ? 有容错机制 ? 可以被缓存 ? 支持并行操作,一个RDD代表一个分区里的数据集     Transformation(转换):Transformation属于延迟计算,当一个RDD转换成另一个RDD时并没有立即进行转换,仅仅是记住了.........【阅读全文】

阅读(2063) | 评论(0) | 转发(0)

发布时间:2018-09-28 17:09:22

面对这种情况,Google 在 2016 年 2 月宣布将大数据流水线产品(Google DataFlow)贡献给 Apache 基金会孵化,2017 年 1 月 Apache 对外宣布开源 Apache Beam,2017 年 5 月迎来了它的第一个稳定版本 2.0.0。在国内,大部分开发者对于 Beam 还缺乏了解,社区中文资料也比较少。InfoQ 期望通过 **Apache Beam 实.........【阅读全文】

阅读(1591) | 评论(0) | 转发(0)

发布时间:2018-09-27 15:02:38

尽管 Java 8 通过延迟队列的实现(java.util.stream.Stream)在惰性求值的方面有些改进,但是我们会先跳过 Stream,而把重点放在如何使用 lambda 表达式实现一个轻量级的惰性求值。Scala让我们创建一个简单的 foo 方法,它接受一个 String 示例,然后返回这个 String:一切都是马上返回的,跟 Java 中的一样.........【阅读全文】

阅读(1485) | 评论(0) | 转发(0)

发布时间:2018-09-26 16:07:15

这里主要是想说明下,是什么背景下面产生了此类问题。银行转账!张三转100块到李四的账户,这其实需要两条SQL语句:如果在第一条SQL语句执行成功后,在执行第二条SQL语句之前,程序被中断了(可能是抛出了某个异常,也可能是其他什么原因),那么李四的账户没有加上100元,而张三却减去了100元。这肯定是.........【阅读全文】

阅读(1683) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册