为什么从spark on yarn日志里面看不到kafka拉取耗时相关的日志
时间: 2023-02-24 09:12:52 浏览: 191
Spark源码系列(七)Sparkonyarn具体实现
如果在 Spark on YARN 的日志中看不到 Kafka 拉取耗时的相关日志,可能是因为 Spark 并不记录对 Kafka 数据的拉取时间。您可以尝试在 Kafka 日志中查找相关信息,或者通过在代码中添加打印语句来跟踪拉取时间。此外,您也可以使用 Spark Streaming 的内置指标来监控 Kafka 的消费情况,以了解 Kafka 数据拉取的耗时。
阅读全文