spark.yarn.jars
时间: 2023-10-31 16:49:15 浏览: 140
spark-1.5.2-yarn-shuffle.jar
`spark.yarn.jars`是一个Spark的配置属性,用于指定要在YARN集群上使用的JAR包列表。当您在YARN集群上运行Spark作业时,Spark驱动程序和应用程序需要访问JAR文件以获取所需的类和资源。使用`spark.yarn.jars`属性,您可以指定要包含在YARN分发缓存中的JAR文件列表。这些JAR文件将在运行Spark作业时自动上传到YARN集群,并在所有工作节点上进行分发和缓存。
阅读全文