发布时间：2018-11-04 15:20:42
点击(此处)折叠或打开import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function2;import j.........【阅读全文】
发布时间：2018-07-26 22:37:07
学习spark之后，第一次实践操作写个wordCount，在实践中遇到问题1、开发环境和服务器运行环使用的spark类库版本不一致达，导致在本地开发环境运行正常，但提交服务器运行报错，需要开发环境和运行环境spark版本一致2、在驱动程序中设置sparktconf 需要注意，如果环境变量设置不对，也有可能报错具体实现如下：.........【阅读全文】
发布时间：2018-07-24 19:58:02
Spark是什么 Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量 廉价硬件之上，形成集群。Spark于2009年诞生于加州大学伯克利分校AMPLab Spark和hadoop 更准确地说，Spark是一个.........【阅读全文】
发布时间：2018-07-19 10:40:41
MapReduce输入数据源不仅可以是文件还可以是Hbase，从Hbase读取数据需要注意以下细节1、Mapper类需要从TableMapper继承，并且实现函数 void map(ImmutableBytesWritable key, Result columns, Context context)ImmutableBytesWritable key 实际上是Hbase表记录的rowkeyResult columns 是hbase.........【阅读全文】
发布时间：2018-07-17 18:02:13
创建用户 1. 创建hadoop用户组sudo groupadd hadoop2. 创建hadoop用户 sudo useradd -g hadoop hadoop3. 给hadoop用户添加权限，打开/etc/sudoers文件 Vi /etc/sudoers按回车键后就会打开/etc/sudoers文件了，给hadoop用户赋予root用户同样的权限在root ALL=(ALL:.........【阅读全文】
