行到水穷处,坐看云起时
发布时间:2015-07-13 15:56:42
SparkSubmitDriverBootstrapper、SparkSubmit均为object,用来完成作业向spark集群的提交。
SparkSubmitDriverBootstrapper:
该object的主要作用是,解析环境变量和配置文件以及运行时传入的配置参数,具体的作业提交还是通过创建子进程SparkSubmit完成,比较重要的代码如下:
//从环境变.........【阅读全文】
发布时间:2015-07-07 11:11:22
spark任务提交脚本位于spark安装目录的bin目录下,比较重要的有下面几个
spark-submit:
用来设置环境变量,然后调用spark-class shell,比较重要的代码块如下:
if [ "$MASTER" == "yarn-cluster" ]; then
SPARK_SUBMIT_DEPLOY_MODE=cluster
fi
#.........【阅读全文】