发布时间：2018-11-06 17:37:11
点击(此处)折叠或打开import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api..........【阅读全文】
发布时间：2018-11-04 17:08:46
Spark有两种类型的共享变量： 累加器（accumulator）：累加器用来对信息进行聚合，累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数 广播变量（broadcast variable）：广播变量用来高效分发较大的对象，让程序高效地向所有工作节点发送一个较大的只读值，以供一个或多个Spark 操作使用。.........【阅读全文】
发布时间：2018-11-04 15:20:42
点击(此处)折叠或打开import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function2;import j.........【阅读全文】
发布时间：2018-07-26 22:37:07
学习spark之后，第一次实践操作写个wordCount，在实践中遇到问题1、开发环境和服务器运行环使用的spark类库版本不一致达，导致在本地开发环境运行正常，但提交服务器运行报错，需要开发环境和运行环境spark版本一致2、在驱动程序中设置sparktconf 需要注意，如果环境变量设置不对，也有可能报错具体实现如下：.........【阅读全文】
发布时间：2018-07-24 19:58:02
Spark是什么 Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量 廉价硬件之上，形成集群。Spark于2009年诞生于加州大学伯克利分校AMPLab Spark和hadoop 更准确地说，Spark是一个.........【阅读全文】
