如何配置让spark日志写道yarn日志里
时间: 2023-02-26 14:11:09 浏览: 63
Spark是使用Apache Log4j作为日志记录框架的。要配置Spark日志写入YARN日志,需要执行以下步骤:
1. 在Spark配置文件(例如spark-defaults.conf)中指定Log4j配置文件的位置。
```
spark.driver.extraJavaOptions -Dlog4j.configuration=<path to log4j.properties file>
spark.executor.extraJavaOptions -Dlog4j.configuration=<path to log4j.properties file>
```
2. 在Log4j配置文件中(例如log4j.properties),为YARN appender指定一个名称并配置它。
```
log4j.appender.yarn=org.apache.log4j.DailyRollingFileAppender
log4j.appender.yarn.file=yarn.log
log4j.appender.yarn.layout=org.apache.log4j.PatternLayout
log4j.appender.yarn.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
```
3. 将YARN appender添加到Log4j的root logger中:
```
log4j.rootLogger=INFO, console, yarn
```
在完成以上步骤后,Spark的日志将写入YARN日志中。请注意,这只是一个示例配置,您可以根据需要进行调整。