为什么从spark日志里面看不到kafka拉取耗时相关的日志？在哪里配置才能打印这个日志。

Spark的日志默认不会打印Kafka消息拉取的耗时信息，你可以通过配置Spark的日志级别来打印这些信息。

具体的方法是：
1. 在Spark的配置文件（spark-defaults.conf）中添加一行配置：

log4j.logger.org.apache.spark.streaming.kafka010.CachedKafkaConsumer=DEBUG

2. 也可以在代码中通过程序设置日志级别：

import org.apache.log4j.Level
import org.apache.log4j.Logger

Logger.getLogger("org.apache.spark.streaming.kafka010.CachedKafkaConsumer").setLevel(Level.DEBUG)

更改日志级别后，你就可以在Spark的日志输出中看到Kafka消息拉取的耗时信息了。

相关问题

为什么从spark日志里面看不到kafka拉取耗时相关的日志

Spark 日志中默认不包含 Kafka 拉取耗时相关的日志，需要手动配置才能看到。你可以在 Spark 配置文件中添加如下配置项：

spark.executor.extraJavaOptions=-Dlog4j.logger.org.apache.spark.streaming.kafka.KafkaSource=DEBUG
spark.driver.extraJavaOptions=-Dlog4j.logger.org.apache.spark.streaming.kafka.KafkaSource=DEBUG

这样配置后，你就可以在 Spark 日志中看到 Kafka 拉取耗时相关的日志了。

为什么从spark on yarn日志里面看不到kafka拉取耗时相关的日志

如果在 Spark on YARN 的日志中看不到 Kafka 拉取耗时的相关日志，可能是因为 Spark 并不记录对 Kafka 数据的拉取时间。您可以尝试在 Kafka 日志中查找相关信息，或者通过在代码中添加打印语句来跟踪拉取时间。此外，您也可以使用 Spark Streaming 的内置指标来监控 Kafka 的消费情况，以了解 Kafka 数据拉取的耗时。