spark-submit执行多个Python包用逗号会报错,可以多次使用--py-files选项吗
时间: 2024-01-14 17:04:55 浏览: 96
Spark-submit
是的,可以多次使用 `--py-files` 选项来指定多个Python包。每次使用该选项时,都需指定要传递的Python包的路径。例如,如果要将 `package1` 和 `package2` 两个Python包传递给 `spark-submit`,则可以执行以下命令:
```
spark-submit --py-files /path/to/package1,/path/to/package2 main.py
```
这将把 `package1` 和 `package2` 两个Python包传递到 `main.py` 中运行的Spark作业中。
阅读全文