发布时间：2018-11-15 20:59:44
假设有如下数据：100,200 300 400 500 600200,100 300 400300,100 200 400 500400,100 200 300500,100 300600,100逗号前表示用户，逗号后表示好友列表，用户100和200的共同好友是300和400步骤：1、获取以<用户,好友>为key，好友列表为value的键值对(100,200) [200, 300, 400, 500, 600](100,300) [200, 300, 400.........【阅读全文】
发布时间：2018-11-11 15:46:31
Spark连接有2种方案方案一: 使用spark自带的union函数，union函数要求连接的两个RDD类型必须一致。具体思路与MapReduce实现jion一致，即对两个数据源分别打标签A,B，然后在reduce中，把key相同的值连接起来。最后在按业务要求对数据进行处理方案二： 使用spark提供的leftOuterJoin函数，对两个RDD进行做外.........【阅读全文】
发布时间：2018-11-08 20:08:48
TopN就是找出数据中排在最前边或者最后的N个数。假设原始数据是K,V形式存储在文本文件中。要实现这个需求如下步骤1、首先把数据按行读入并分隔成KeyValue形式2、需要对key相同的数据进行聚合3、按value排序，取topN，对value排序有3种方案 A) 对多个分区分别使用SortedMap，将value以作为SortedMap键，key.........【阅读全文】
发布时间：2018-11-06 17:37:11
点击(此处)折叠或打开import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api..........【阅读全文】
发布时间：2018-11-04 17:08:46
Spark有两种类型的共享变量： 累加器（accumulator）：累加器用来对信息进行聚合，累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数 广播变量（broadcast variable）：广播变量用来高效分发较大的对象，让程序高效地向所有工作节点发送一个较大的只读值，以供一个或多个Spark 操作使用。.........【阅读全文】
