sparksession 指定spark executor的内存
时间: 2023-10-27 15:43:51 浏览: 137
Spark on Yarn之Executor内存管理 - 简书1
在创建 SparkSession 对象时,可以通过 `.config("spark.executor.memory", "2g")` 的方式来指定 Spark executor 的内存大小。具体来说,这个参数用于控制每个 executor 可以使用的内存大小,单位可以是 g、m 等。例如,上述代码中指定了每个 executor 可以使用 2GB 的内存。当然,还可以通过其他参数来进一步配置 SparkSession,如 `.config("spark.executor.instances", "2")` 可以指定使用 2 个 executor 实例等。
阅读全文