行到水穷处，坐看云起时
发布时间：2015-07-13 15:56:42
SparkSubmitDriverBootstrapper、SparkSubmit均为object，用来完成作业向spark集群的提交。
SparkSubmitDriverBootstrapper：
该object的主要作用是，解析环境变量和配置文件以及运行时传入的配置参数，具体的作业提交还是通过创建子进程SparkSubmit完成，比较重要的代码如下：
//从环境变.........【阅读全文】
发布时间：2015-07-08 18:10:45
网上查了半天，发现是系统自带的版本太低，dmesg命令不支时间参数，如果需要输出时间字段，需要重新编译内核，设置下面参数：CONFIG_PRINTK_TIME=y <br /><br />还有一种变通的方法，利用[r]syslog，将kernel日志输出到文件中，修改/etc/[r]syslog.conf，添加如下配置：<br />kern.* .........【阅读全文】
发布时间：2015-07-07 14:31:12
Scala中，如果字符串前带有s、f、raw前缀，则对于字符串可以用$name来进行变量替换：<br /><br />s前缀：<br />用来替换变量，比如：<br />scala> val name = "Alice"<br />name: String = Alice<br /><br />scala> println(s"Hello,$name")<br />Hello,Alice<br /><br />f前缀：<br />在实现s前缀功能的.........【阅读全文】
发布时间：2015-07-07 11:11:22
spark任务提交脚本位于spark安装目录的bin目录下，比较重要的有下面几个
spark-submit：
用来设置环境变量，然后调用spark-class shell，比较重要的代码块如下：
if [ "$MASTER" == "yarn-cluster" ]; then
SPARK_SUBMIT_DEPLOY_MODE=cluster
fi
#.........【阅读全文】
发布时间：2015-07-07 09:54:19
转自：http://blog.csdn.net/grantlee1988/article/details/7744854<br /><br /><p style="color:#333333;font-family:Arial;font-size:14px;line-height:26px;white-space:normal;background-color:#FFFFFF;">shell的逻辑运算符 涉及有以下几种类型，因此只要适当选择，可以解决我们很多复杂的判断，达到事半功倍效果.........【阅读全文】
