Chinaunix首页 | 论坛 | 博客
  • 博客访问: 444594
  • 博文数量: 127
  • 博客积分: 969
  • 博客等级: 准尉
  • 技术积分: 1565
  • 用 户 组: 普通用户
  • 注册时间: 2011-07-30 12:09
文章分类

全部博文(127)

文章存档

2018年(31)

2017年(6)

2016年(13)

2014年(7)

2013年(24)

2012年(33)

2011年(14)

我的朋友

发布时间:2018-07-09 19:01:15

点击(此处)折叠或打开import backtype.storm.spout.SpoutOutputCollector; import backtype.storm.task.TopologyContext;import backtype.storm.topology.OutputFieldsDeclarer;import backtype.storm.topology.base.BaseRichSpout;imp.........【阅读全文】

阅读(8) | 评论(0) | 转发(0)

发布时间:2018-07-07 17:11:16

由于storm使用zookeeper 来管理的,所以在安装storm前先要安装zookeeper安装zookeeper1)下载安装Java JDK,JDK版本为JDK 6或以上。2)根据Zookeeper集群的负载情况,合理设置Java堆大小,尽可能避免发生swap,导致Zookeeper性能下降。保守期间,4GB内存的机器可以为Zookeeper分配3GB最大堆空间。3)下载后.........【阅读全文】

阅读(14) | 评论(0) | 转发(0)

发布时间:2018-07-07 16:59:10

Strom是什么      Storm是由专业数据分析公司BackType开发的一个分布式计算框架,可以简单、高效、可靠地处理大量的数据流。Twitter在2011年7月收购该公司,并于2011年9月底正式将Storm项目开源。软件核心部分使用Clojure开发,外围部分使用Java开发。      Storm可以方便.........【阅读全文】

阅读(14) | 评论(0) | 转发(0)

发布时间:2018-07-07 15:48:07

假设有如下数据:100,200,300,400,500,600200,100,300,400300,100,200,400,500400,100,200,300500,100,300600,100其中第一列表示用户ID,其余列表示用户的好友ID,我们需要统计出这些用户的共同好友其结果如下:[100,200] [300, 400]  //表示用户100和200的共同好友是 300,400[100,300] [200, 400, 500].........【阅读全文】

阅读(7) | 评论(0) | 转发(0)

发布时间:2018-07-06 17:17:27

点击(此处)折叠或打开import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;i.........【阅读全文】

阅读(10) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册