traveling in cumputer science!!
发布时间:2016-03-01 15:32:01
1.查看正在运行app的信息
?访问master WEB UI : http://master:8080
?然后点击Running Applications 下Application ID或者Name查看信息
2.查看运行完成app的信息
?按照上面在master WEB UI中的操作方法访问
?会产生报错内容:No event logs were found for this application! To enable event logging, set spark.eventLog.enabled to true and spark.eventLog.dir to the directory to which your event logs are written.
解决办法:按照报错内容
? (1)在$SPARK_HOME/conf中的创建spark-defaults.conf
然后在spark-defaults.conf中添加如下数据
(2)切换到/tmp/目录下,看有没有spark-events文件夹
经过......【阅读全文】
发布时间:2015-08-06 14:13:41
搭建spark cluster过程中
scp传送文件
文件权限管理
磁盘及文件使用情况......【阅读全文】
发布时间:2015-08-05 22:56:21
setup cluster -- configure hadoop
scp the directory to all the other machines
install hadoop and configure the file
down the hadoop package
install jdk......【阅读全文】