希望在这里与大家一起交流学习,共同进步。。。
发布时间:2015-05-08 20:46:06
storm中要配置并行度,就必须要明白 workers、executors、tasks三个的区别:Workers (JVMs): 在一个节点上可以运行一个或多个独立的JVM 进程。一个Topology可以包含一个或多个worker(并行的跑在不同的machine上), 所以worker process就是执行一个topology的子集, 并且worker只能对应于一个topology;worker processes的数.........【阅读全文】
发布时间:2015-05-07 22:30:56
1.对storm中传递类型的解释(大家如果不想看也可以直接跳到第二部分,不过看看是很有好处的)大家知道在storm中传递的是tuple,而tuple是没有定义数据类型格式的,也就是tuple是dynamically(动态)类型的,下面解释一下tuple为什么 要定义成动态类型的:一是因为tuple如果定义为静态类型,一定需要定义大量的stormAPI.........【阅读全文】
发布时间:2015-05-06 22:21:04
storm有多种数据分组策略,但是fieldsGrouping是比较难理解的一种,在这里说一下我的理解fieldsGroup是可以对相同的词进行分组计算,比如有好多词语进行计数,可以用public void declareOutputFields(OutputFieldsDeclarer declarer) { declarer.declare(new Fields("word"));}这个方法中的”word.........【阅读全文】