为什么从spark日志里面看不到kafka拉取耗时相关的日志

Spark 日志中默认不包含 Kafka 拉取耗时相关的日志，需要手动配置才能看到。你可以在 Spark 配置文件中添加如下配置项：

spark.executor.extraJavaOptions=-Dlog4j.logger.org.apache.spark.streaming.kafka.KafkaSource=DEBUG
spark.driver.extraJavaOptions=-Dlog4j.logger.org.apache.spark.streaming.kafka.KafkaSource=DEBUG

这样配置后，你就可以在 Spark 日志中看到 Kafka 拉取耗时相关的日志了。

相关问题

为什么从spark on yarn日志里面看不到kafka拉取耗时相关的日志

如果在 Spark on YARN 的日志中看不到 Kafka 拉取耗时的相关日志，可能是因为 Spark 并不记录对 Kafka 数据的拉取时间。您可以尝试在 Kafka 日志中查找相关信息，或者通过在代码中添加打印语句来跟踪拉取时间。此外，您也可以使用 Spark Streaming 的内置指标来监控 Kafka 的消费情况，以了解 Kafka 数据拉取的耗时。

为什么从spark日志里面看不到kafka拉取耗时相关的日志？在哪里配置才能打印这个日志。

Spark的日志默认不会打印Kafka消息拉取的耗时信息，你可以通过配置Spark的日志级别来打印这些信息。

具体的方法是：
1. 在Spark的配置文件（spark-defaults.conf）中添加一行配置：

log4j.logger.org.apache.spark.streaming.kafka010.CachedKafkaConsumer=DEBUG

2. 也可以在代码中通过程序设置日志级别：

import org.apache.log4j.Level
import org.apache.log4j.Logger

Logger.getLogger("org.apache.spark.streaming.kafka010.CachedKafkaConsumer").setLevel(Level.DEBUG)

更改日志级别后，你就可以在Spark的日志输出中看到Kafka消息拉取的耗时信息了。