Spark 安装及使用详解

Spark配置文件

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=1.hadoop.com:2181,2.hadoop.com:2181,3.hadoop.com:2181 -Dspark.deploy.zookeeper.dir=/spark "

export SPARK_DAEMON_MEMORY=512m

编辑 spark-defaults.conf 文件
第一种配置方式 Yarn 模式

spark.executor.extraJavaOptions       -XX:MaxPermSize=896m
spark.executor.memory           5g
spark.serializer        org.apache.spark.serializer.KryoSerializer
spark.cores.max        32
spark.shuffle.manager    SORT
spark.driver.memory    2g

第二种配置方式 standalone方式

spark.master            spark://5.6.7.8:7077
spark.executor.memory   512m
spark.eventLog.enabled  true
spark.serializer        org.apache.spark.serializer.KryoSerializer

spark 集群安装
saprk 集群安装比较简单，按照以上配置，接着 scp 到其他节点，接着启动集群，不过spark对内存的要求比较高，有条件的，可以找些内存较大的机器，接着就是如何启动了
点击(此处)折叠或打开

$ ./start-all.sh
或者
$ ./start-master.sh    &  ./start-slaves.sh

分别在主机和备机查看spark进程
主机
$ jps
6421 Master

备机
$ jps
5103 Worker

spark 客户端模式
操作一：saprk-submit：计算不重复字符数

bin/spark-submit \
    --class org.project.modules.spark.java.WordCount
    --master=spark://1.hadoop.com:7077
    ./WordCount.py
    hdfs://2.hadoop.com:8020/sparktest/ipInfo.txt

WordCount.py 内容

import sys
from operator import add

from pyspark import SparkContext

if __name__ == "__main__":
    if len(sys.argv) != 2:
        print >> sys.stderr, "Usage: wordcount "
        exit(-1)
    sc = SparkContext(appName="PythonWordCount")
    lines = sc.textFile(sys.argv[1], 1)
    counts = lines.flatMap(lambda x: x.split(' ')) \
                  .map(lambda x: (x, 1)) \
                  .reduceByKey(add)
    output = counts.collect()
    for (word, count) in output:
        print "%s: %i" % (word, count)

操作二 ：beeline 模式
这个首先在启动spark其群的JDBC-server，然后通过 spark/bin 目录下的命令行工具 beeline 去连接
这个参见我的博客： 《使用spark-sql 的JDBC server》

待续。。。。。