spark.executor.extraJavaOptions=-Dlog4j.logger.org.apache.spark.streaming.kafka.KafkaSource=DEBUG这个配置添加在哪里
时间: 2023-02-24 13:12:53 浏览: 239
spark-3.1.2.tgz & spark-3.1.2-bin-hadoop2.7.tgz.rar
这个配置可以添加在 Spark 程序的命令行中,例如在启动程序时使用如下命令:
./bin/spark-submit --conf spark.executor.extraJavaOptions=-Dlog4j.logger.org.apache.spark.streaming.kafka.KafkaSource=DEBUG ...
也可以在 Spark 配置文件中添加,例如 spark-defaults.conf 文件:
spark.executor.extraJavaOptions=-Dlog4j.logger.org.apache.spark.streaming.kafka.KafkaSource=DEBUG
最后,在 Spark 应用程序代码中也可以通过 SparkConf 对象的 setExecutorEnv 方法添加。
阅读全文