Chinaunix首页 | 论坛 | 博客
  • 博客访问: 3284984
  • 博文数量: 346
  • 博客积分: 10189
  • 博客等级: 上将
  • 技术积分: 3125
  • 用 户 组: 普通用户
  • 注册时间: 2008-08-05 19:46
文章分类

全部博文(346)

文章存档

2013年(35)

2011年(35)

2010年(76)

2009年(48)

2008年(152)

发布时间:2013-09-13 08:59:35

转自:http://www.cnblogs.com/panfeng412/archive/2012/07/29/storm-stream-model-analysis-and-discussion.html本文首先介绍了Storm的基本概念和数据流模型,然后结合一个典型应用场景来说明Storm支持Topology之间数据流订阅的必要性,最后对比了Storm与另一个流处理系统在数据流模型上的区别之处。Storm基本概念.........【阅读全文】

阅读(2498) | 评论(0) | 转发(0)

发布时间:2013-09-13 07:02:56

http://www.linuxidc.com/Linux/2013-01/77755p2.htmHadoop一般用在离线的分析计算中,而storm区别于hadoop,用在实时的流式计算中,被广泛用来进行实时日志处理、实时统计、实时风控等场景,当然也可以用在对数据进行实时初步的加工,存储到分布式数据库中如HBase,便于后续的查询。面对的大批量的数据的实时计算,.........【阅读全文】

阅读(10153) | 评论(0) | 转发(0)

发布时间:2013-09-12 16:39:06

配置项配置说明storm.zookeeper.serversZooKeeper服务器列表storm.zookeeper.portZooKeeper连接端口storm.local.dirstorm使用的本地文件系统目录(必须存在并且storm进程可读写).........【阅读全文】

阅读(6232) | 评论(1) | 转发(0)

发布时间:2013-09-12 16:18:55

第五章 一致性事务Storm是一个分布式的流处理系统,利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错,则可以被重传,但是如何保证出错的tuple只被处理一次呢?Storm提供了一套事务性组件Transaction Topology,用来解决这个问题。Transactional Topology目前已经不再维护,由Trident来实现事务.........【阅读全文】

阅读(1453) | 评论(0) | 转发(0)

发布时间:2013-09-12 16:17:24

4.1 简介storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的,并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。4.2 理解消息被完整处理一个消息(tuple)从spout发送出来,可能会导致成百上千的消息基于此消息被创建。我们来思考一.........【阅读全文】

阅读(1646) | 评论(0) | 转发(0)
给主人留下些什么吧!~~

未曾放弃2012-06-13 19:02

您好 很荣幸认识到您看到您写的编程 我很希望和您做朋友希望能加我为好友本人Q2390451257 谢谢您

回复  |  举报

chinaunix网友2009-11-02 10:38

你的总结很好,经验很丰富啊,我是一个初学VC++的,在学习 的时候总是出现一些错误信息,很头疼啊,可不可的交流一下?QQ:466792085

回复 |  删除 |  举报

chinaunix网友2009-08-12 15:12

你好,无意中看到你的博客,觉得你很善于总结 而且你的技术点和我都很相近,当然我的水平和你还是有差距的,呵呵 我们是同行,年纪也相仿。有空可以一起交流。我留下msn吧,msn:wangtong0819@gmail.com

回复 |  删除 |  举报

pl5951822009-06-18 17:45

我又来了

回复  |  举报

pl5951822009-06-16 10:54

博主 你好 我是今年的毕业生 看了你的文章这么有学术性 你一定对这些领域很有研究吧 有时间能想你请教几个问题吗? 我会常来你博客的

回复  |  举报
留言热议
请登录后留言。

登录 注册