Chinaunix首页 | 论坛 | 博客
  • 博客访问: 371440
  • 博文数量: 85
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 657
  • 用 户 组: 普通用户
  • 注册时间: 2013-07-17 20:48
个人简介

行到水穷处,坐看云起时

文章分类

全部博文(85)

文章存档

2019年(2)

2018年(1)

2016年(1)

2015年(66)

2014年(15)

我的朋友

发布时间:2015-07-13 15:56:42

SparkSubmitDriverBootstrapper、SparkSubmit均为object,用来完成作业向spark集群的提交。

SparkSubmitDriverBootstrapper:
该object的主要作用是,解析环境变量和配置文件以及运行时传入的配置参数,具体的作业提交还是通过创建子进程SparkSubmit完成,比较重要的代码如下:

//从环境变.........【阅读全文】

阅读(1665) | 评论(0) | 转发(0)

发布时间:2015-07-07 11:11:22

spark任务提交脚本位于spark安装目录的bin目录下,比较重要的有下面几个

spark-submit:

用来设置环境变量,然后调用spark-class shell,比较重要的代码块如下:

if [ "$MASTER" == "yarn-cluster" ]; then
  SPARK_SUBMIT_DEPLOY_MODE=cluster
fi

#.........【阅读全文】

阅读(2841) | 评论(0) | 转发(0)
给主人留下些什么吧!~~

gaobaoqiang19832015-07-02 17:32

回复  |  举报
留言热议
请登录后留言。

登录 注册