发布时间：2018-11-04 15:20:42
点击(此处)折叠或打开import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function2;import j.........【阅读全文】
发布时间：2018-07-26 22:37:07
学习spark之后，第一次实践操作写个wordCount，在实践中遇到问题1、开发环境和服务器运行环使用的spark类库版本不一致达，导致在本地开发环境运行正常，但提交服务器运行报错，需要开发环境和运行环境spark版本一致2、在驱动程序中设置sparktconf 需要注意，如果环境变量设置不对，也有可能报错具体实现如下：.........【阅读全文】
发布时间：2018-07-24 19:58:02
Spark是什么 Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量 廉价硬件之上，形成集群。Spark于2009年诞生于加州大学伯克利分校AMPLab Spark和hadoop 更准确地说，Spark是一个.........【阅读全文】
