为什么从spark日志里面看不到kafka拉取耗时相关的日志?在哪里配置才能打印这个日志。
时间: 2023-02-24 17:12:53 浏览: 163
spark通过kafka-appender指定日志输出到kafka引发的死锁问题
Spark的日志默认不会打印Kafka消息拉取的耗时信息,你可以通过配置Spark的日志级别来打印这些信息。
具体的方法是:
1. 在Spark的配置文件(spark-defaults.conf)中添加一行配置:
```
log4j.logger.org.apache.spark.streaming.kafka010.CachedKafkaConsumer=DEBUG
```
2. 也可以在代码中通过程序设置日志级别:
```
import org.apache.log4j.Level
import org.apache.log4j.Logger
Logger.getLogger("org.apache.spark.streaming.kafka010.CachedKafkaConsumer").setLevel(Level.DEBUG)
```
更改日志级别后,你就可以在Spark的日志输出中看到Kafka消息拉取的耗时信息了。
阅读全文