Chinaunix首页 | 论坛 | 博客
  • 博客访问: 430143
  • 博文数量: 120
  • 博客积分: 969
  • 博客等级: 准尉
  • 技术积分: 1490
  • 用 户 组: 普通用户
  • 注册时间: 2011-07-30 12:09
文章分类

全部博文(120)

文章存档

2018年(24)

2017年(6)

2016年(13)

2014年(7)

2013年(24)

2012年(33)

2011年(14)

我的朋友

发布时间:2018-07-19 10:40:41

MapReduce输入数据源不仅可以是文件还可以是Hbase,从Hbase读取数据需要注意以下细节1、Mapper类需要从TableMapper继承,并且实现函数 void map(ImmutableBytesWritable key, Result columns, Context context)ImmutableBytesWritable key 实际上是Hbase表记录的rowkeyResult columns 是hbase.........【阅读全文】

阅读(0) | 评论(0) | 转发(0)

发布时间:2018-07-17 18:08:30

创建用户 1. 创建hadoop用户组sudo ?groupadd hadoop2. 创建hadoop用户?sudo useradd -g hadoop hadoop3. 给hadoop用户添加权限,打开/etc/sudoers文件?Vi /etc/sudoers按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户同样的权限在root? ALL=(ALL:.........【阅读全文】

阅读(0) | 评论(0) | 转发(0)

发布时间:2018-07-17 18:02:13

创建用户 1. 创建hadoop用户组sudo  groupadd hadoop2. 创建hadoop用户 sudo useradd -g hadoop hadoop3. 给hadoop用户添加权限,打开/etc/sudoers文件 Vi /etc/sudoers按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户同样的权限在root  ALL=(ALL:.........【阅读全文】

阅读(0) | 评论(0) | 转发(0)

发布时间:2018-07-09 19:01:15

点击(此处)折叠或打开import backtype.storm.spout.SpoutOutputCollector; import backtype.storm.task.TopologyContext;import backtype.storm.topology.OutputFieldsDeclarer;import backtype.storm.topology.base.BaseRichSpout;imp.........【阅读全文】

阅读(1) | 评论(0) | 转发(0)

发布时间:2018-07-07 17:11:16

由于storm使用zookeeper 来管理的,所以在安装storm前先要安装zookeeper安装zookeeper1)下载安装Java JDK,JDK版本为JDK 6或以上。2)根据Zookeeper集群的负载情况,合理设置Java堆大小,尽可能避免发生swap,导致Zookeeper性能下降。保守期间,4GB内存的机器可以为Zookeeper分配3GB最大堆空间。3)下载后.........【阅读全文】

阅读(2) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册