全部博文(346)
发布时间:2013-09-13 08:59:35
转自:http://www.cnblogs.com/panfeng412/archive/2012/07/29/storm-stream-model-analysis-and-discussion.html本文首先介绍了Storm的基本概念和数据流模型,然后结合一个典型应用场景来说明Storm支持Topology之间数据流订阅的必要性,最后对比了Storm与另一个流处理系统在数据流模型上的区别之处。Storm基本概念.........【阅读全文】
发布时间:2013-09-13 07:02:56
http://www.linuxidc.com/Linux/2013-01/77755p2.htmHadoop一般用在离线的分析计算中,而storm区别于hadoop,用在实时的流式计算中,被广泛用来进行实时日志处理、实时统计、实时风控等场景,当然也可以用在对数据进行实时初步的加工,存储到分布式数据库中如HBase,便于后续的查询。面对的大批量的数据的实时计算,.........【阅读全文】
发布时间:2013-09-12 16:39:06
配置项配置说明storm.zookeeper.serversZooKeeper服务器列表storm.zookeeper.portZooKeeper连接端口storm.local.dirstorm使用的本地文件系统目录(必须存在并且storm进程可读写).........【阅读全文】
发布时间:2013-09-12 16:18:55
第五章 一致性事务Storm是一个分布式的流处理系统,利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错,则可以被重传,但是如何保证出错的tuple只被处理一次呢?Storm提供了一套事务性组件Transaction Topology,用来解决这个问题。Transactional Topology目前已经不再维护,由Trident来实现事务.........【阅读全文】
发布时间:2013-09-12 16:17:24
4.1 简介storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的,并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。4.2 理解消息被完整处理一个消息(tuple)从spout发送出来,可能会导致成百上千的消息基于此消息被创建。我们来思考一.........【阅读全文】
chinaunix网友2009-11-02 10:38
你的总结很好,经验很丰富啊,我是一个初学VC++的,在学习 的时候总是出现一些错误信息,很头疼啊,可不可的交流一下?QQ:466792085
chinaunix网友2009-08-12 15:12
你好,无意中看到你的博客,觉得你很善于总结 而且你的技术点和我都很相近,当然我的水平和你还是有差距的,呵呵 我们是同行,年纪也相仿。有空可以一起交流。我留下msn吧,msn:wangtong0819@gmail.com