请说出提交Yarn命令中各个参数有什么作用? ./spark-submit \ --master yarn \ --conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" \ --conf "spark.pyspark.python=/root/anaconda3/bin/python3" \ /export/data/workspace/ xxx_out.py
时间: 2023-08-15 11:06:27 浏览: 179
spark1.2.1常用模式部署运行
5星 · 资源好评率100%
提交 Yarn 命令中各个参数的作用如下:
1. `--master yarn`: 指定 Spark 应用程序的主节点为 Yarn,即使用 Yarn作为 Spark 的资源管理器。
2. `--conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3"`: 设置 Spark 应用程序的驱动程序(即主节点)使用的 Python 解释器路径为 `/root/anaconda3/bin/python3`。
3. `--conf "spark.pyspark.python=/root/anaconda3/bin/python3"`: 设置 Spark 应用程序中使用的 Python 解释器路径为 `/root/anaconda3/bin/python3`。
4. `/export/data/workspace/ xxx_out.py`: 指定要提交的 Spark 应用程序的文件路径,其中 `xxx_out.py` 是要提交的 Python 脚本文件名。
阅读全文