Chinaunix首页 | 论坛 | 博客
  • 博客访问: 349274
  • 博文数量: 85
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 657
  • 用 户 组: 普通用户
  • 注册时间: 2013-07-17 20:48
个人简介

行到水穷处,坐看云起时

文章分类

全部博文(85)

文章存档

2019年(2)

2018年(1)

2016年(1)

2015年(66)

2014年(15)

我的朋友

发布时间:2015-07-13 15:56:42

SparkSubmitDriverBootstrapper、SparkSubmit均为object,用来完成作业向spark集群的提交。

SparkSubmitDriverBootstrapper:
该object的主要作用是,解析环境变量和配置文件以及运行时传入的配置参数,具体的作业提交还是通过创建子进程SparkSubmit完成,比较重要的代码如下:

//从环境变.........【阅读全文】

阅读(1586) | 评论(0) | 转发(0)

发布时间:2015-07-08 18:10:45

网上查了半天,发现是系统自带的版本太低,dmesg命令不支时间参数,如果需要输出时间字段,需要重新编译内核,设置下面参数:CONFIG_PRINTK_TIME=y&nbsp;<br /><br />还有一种变通的方法,利用[r]syslog,将kernel日志输出到文件中,修改/etc/[r]syslog.conf,添加如下配置:<br />kern.* &nbsp; &nbsp; &nbsp; &nbsp; .........【阅读全文】

阅读(6846) | 评论(0) | 转发(0)

发布时间:2015-07-07 14:31:12

Scala中,如果字符串前带有s、f、raw前缀,则对于字符串可以用$name来进行变量替换:<br /><br />s前缀:<br />用来替换变量,比如:<br />scala&gt; val name = "Alice"<br />name: String = Alice<br /><br />scala&gt; println(s"Hello,$name")<br />Hello,Alice<br /><br />f前缀:<br />在实现s前缀功能的.........【阅读全文】

阅读(3759) | 评论(0) | 转发(0)

发布时间:2015-07-07 11:11:22

spark任务提交脚本位于spark安装目录的bin目录下,比较重要的有下面几个

spark-submit:

用来设置环境变量,然后调用spark-class shell,比较重要的代码块如下:

if [ "$MASTER" == "yarn-cluster" ]; then
  SPARK_SUBMIT_DEPLOY_MODE=cluster
fi

#.........【阅读全文】

阅读(2682) | 评论(0) | 转发(0)

发布时间:2015-07-07 09:54:19

转自:http://blog.csdn.net/grantlee1988/article/details/7744854<br /><br /><p style="color:#333333;font-family:Arial;font-size:14px;line-height:26px;white-space:normal;background-color:#FFFFFF;">shell的逻辑运算符 涉及有以下几种类型,因此只要适当选择,可以解决我们很多复杂的判断,达到事半功倍效果.........【阅读全文】

阅读(1351) | 评论(0) | 转发(0)
给主人留下些什么吧!~~

gaobaoqiang19832015-07-02 17:32

回复  |  举报
留言热议
请登录后留言。

登录 注册