spark 在standalone mode 下在WEB端查看已完成应用运行情况的内容的问题

1.查看正在运行app的信息

访问master WEB UI ：
然后点击Running Applications 下Application ID或者Name查看信息

2.查看运行完成app的信息

按照上面在master WEB UI中的操作方法访问
会产生报错内容：

No event logs were found for this application! To , set spark.eventLog.enabled to true and spark.eventLog.dir to the directory to which your event logs are written.

解决办法：按照报错内容
    （1）在$SPARK_HOME/conf中的创建spark-defaults.conf

cp spark-defaults.conf.template spark-defaults.conf

    然后在spark-defaults.conf中添加如下数据

spark.eventLog.enabled=true
spark.eventLog.dir=/tmp/

    （2）切换到/tmp/目录下，看有没有spark-events文件夹

sudo mkdir spark-events
sudo chmod 777 spark-events

经过以上操作之后就可以像查看正在运行app一样在web ui查看已完成app的执行过程的详细信息

3.总结

（1）创建好事件的log信息，并设置好路径，就可以通过spark的web driver来访问已完成app的详细信息
（2）注意在写的spark python 程序结束时，执行sc.stop() 来完成app
（3）此方法使用在standalone mode下，若在其他模式下，可通过执行脚本$SPARK_HOME/sbin/start-history-server.sh 实现

4.参考链接：