Chinaunix首页 | 论坛 | 博客
  • 博客访问: 432365
  • 博文数量: 122
  • 博客积分: 969
  • 博客等级: 准尉
  • 技术积分: 1500
  • 用 户 组: 普通用户
  • 注册时间: 2011-07-30 12:09
文章分类

全部博文(122)

文章存档

2018年(25)

2017年(6)

2016年(13)

2014年(7)

2013年(24)

2012年(33)

2011年(14)

我的朋友

发布时间:2018-06-30 20:32:00

     分区模式将记录进行分类,但它并不关心记录的顺序。其主要目的是将数据集中相似的记录分成不同的、更小的数据集     分区主要原理是,自定义分区类继承Partitioner,根据业务需求实现分区函数 public int getPartition(Text key, Text value, int numPartitions),将Key相同的记.........【阅读全文】

阅读(26) | 评论(0) | 转发(0)

发布时间:2018-07-26 22:37:07

学习spark之后,第一次实践操作写个wordCount,在实践中遇到问题1、开发环境和服务器运行环使用的spark类库版本不一致达,导致在本地开发环境运行正常,但提交服务器运行报错,需要开发环境和运行环境spark版本一致2、在驱动程序中设置sparktconf 需要注意,如果环境变量设置不对,也有可能报错具体实现如下:.........【阅读全文】

阅读(2) | 评论(0) | 转发(0)

发布时间:2018-07-24 19:58:02

Spark是什么 Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将Spark部署在大量 廉价硬件之上,形成集群。Spark于2009年诞生于加州大学伯克利分校AMPLab Spark和hadoop 更准确地说,Spark是一个.........【阅读全文】

阅读(2) | 评论(0) | 转发(0)

发布时间:2018-07-19 10:40:41

MapReduce输入数据源不仅可以是文件还可以是Hbase,从Hbase读取数据需要注意以下细节1、Mapper类需要从TableMapper继承,并且实现函数 void map(ImmutableBytesWritable key, Result columns, Context context)ImmutableBytesWritable key 实际上是Hbase表记录的rowkeyResult columns 是hbase.........【阅读全文】

阅读(2) | 评论(0) | 转发(0)

发布时间:2018-07-17 18:02:13

创建用户 1. 创建hadoop用户组sudo  groupadd hadoop2. 创建hadoop用户 sudo useradd -g hadoop hadoop3. 给hadoop用户添加权限,打开/etc/sudoers文件 Vi /etc/sudoers按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户同样的权限在root  ALL=(ALL:.........【阅读全文】

阅读(1) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册