Chinaunix首页 | 论坛 | 博客
  • 博客访问: 128417
  • 博文数量: 15
  • 博客积分: 209
  • 博客等级: 入伍新兵
  • 技术积分: 205
  • 用 户 组: 普通用户
  • 注册时间: 2011-09-07 13:20
文章分类
文章存档

2014年(4)

2013年(1)

2012年(2)

2011年(8)

发布时间:2014-01-05 21:44:10

“源码走读系列”从代码层面分析了storm的具体实现,接下来通过具体的实例来说明storm的使用。因为目前storm已经正式迁移到Apache,文章系列也由twitter storm转为apache storm.

WordCountTopology 使用storm来统计文件中的每个单词的出现次数。......【阅读全文】

阅读(7397) | 评论(0) | 转发(1)

发布时间:2014-01-03 14:14:19

本文从外部消息在worker进程内部的转化,传递及处理过程入手,一步步分析在worker-data中的数据项存在的原因和意义。试图从代码实现的角度来回答,如果是从头开始实现worker的话,该如何来定义消息接口,如何实现各自接口上的消息处理。......【阅读全文】

阅读(5439) | 评论(0) | 转发(1)

发布时间:2014-01-03 14:08:56

TridentTopology是storm提供的高层使用接口,常见的一些SQL中的操作在tridenttopology提供的api中都有类似的影射。关于TridentTopology的使用及运行原理,当前进行详细分析的文章不多。
从TridentTopology到vanilla topology(普通的topology)由三个层次组成:
面向最终用户的概念stream, operation
利用planner将tridenttopology转换成vanilla topology
执行vanilla topology
本文尝试TridentTopology是如何先一步步转换成普通的storm Topology(即vanila topology), 转换后的topology的执行中有哪些区别?......【阅读全文】

阅读(4238) | 评论(0) | 转发(1)

发布时间:2014-01-03 14:07:01

本 文详细分析TridentTopology的可靠性实现, TridentTopology通过transactional spout与transactional state相结合,能够做到tuple“只被处理一次,不多也不少”。也就是做到事务性处理exactly-once,要么成功,要么失败。
而一般的storm topology是无法保证eactly-once的处理的,它们要么是at-least-once(至少被处理一次,有可能被处理多次);要么是at-most-once(最多被处理一次,这样就存在遗漏的可能).
TridentTopology在设计中借鉴和保留了目前已经过期的transactional topology的设计思想。......【阅读全文】

阅读(7437) | 评论(0) | 转发(1)

发布时间:2013-09-22 20:25:19

本文初次发表于storm-cn的google groups中,现以blog的方式再次发表,表明本人徽沪一郎确实读过这些代码,:). Bolt作为task被executor执行,而executor是一个个的线程,所以executor必须存在于具体的process之中,而这个process就是worker。至于worker是如何被supervisor创建,尔后worker又如何创建executor线.........【阅读全文】

阅读(4584) | 评论(0) | 转发(1)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册