关闭spark app运行时在终端输出的大量日志信息，保留警告信息以及程序输出

1.问题

    在运行spark app时，屏幕上总会刷屏似的输出大量日志信息，详细介绍程序运行过程，但这样有时也不便我们调试应用。只输出警告和程序输出一般就足够我们参考，再详细的内容课题通过web ui更直观的查看。

2.解决方法

进行如下设置：

cd $SPARK_HOME/conf
cp log4j.properties.template log4j.properties

然后设置log4j.properties文件内容如下：

# Set everything to be logged to the console
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# Settings to quiet third party logs that are too verbose
log4j.logger.org.spark-project.jetty=WARN
log4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

修改了代码第二行中INFO为WARN

3.参考链接