行到水穷处,坐看云起时
发布时间:2015-08-14 10:53:02
转自:http://blog.csdn.net/shensyu/article/details/6954788<br /><br /><span style="font-family:Arial;font-size:14px;line-height:26px;white-space:normal;background-color:#FFFFFF;">public不是角色,你可以理解为</span><span style="font-family:Arial;font-size:14px;line-height:26px;white-space:normal;ba.........【阅读全文】
发布时间:2015-07-13 15:56:42
SparkSubmitDriverBootstrapper、SparkSubmit均为object,用来完成作业向spark集群的提交。
SparkSubmitDriverBootstrapper:
该object的主要作用是,解析环境变量和配置文件以及运行时传入的配置参数,具体的作业提交还是通过创建子进程SparkSubmit完成,比较重要的代码如下:
//从环境变.........【阅读全文】
发布时间:2015-07-08 18:10:45
网上查了半天,发现是系统自带的版本太低,dmesg命令不支时间参数,如果需要输出时间字段,需要重新编译内核,设置下面参数:CONFIG_PRINTK_TIME=y <br /><br />还有一种变通的方法,利用[r]syslog,将kernel日志输出到文件中,修改/etc/[r]syslog.conf,添加如下配置:<br />kern.* .........【阅读全文】
发布时间:2015-07-07 14:31:12
Scala中,如果字符串前带有s、f、raw前缀,则对于字符串可以用$name来进行变量替换:<br /><br />s前缀:<br />用来替换变量,比如:<br />scala> val name = "Alice"<br />name: String = Alice<br /><br />scala> println(s"Hello,$name")<br />Hello,Alice<br /><br />f前缀:<br />在实现s前缀功能的.........【阅读全文】