spark-submit \ --master yarn \ --deploy-mode cluster \ --py-files /path/to/python_code.zip \ /path/to/startup_script.py。py-files /path/to/python_code.zip可以是hdfs文件路径吗
时间: 2023-12-07 10:05:57 浏览: 166
是的,py-files /path/to/python_code.zip 可以是 HDFS 文件路径。在这种情况下,您需要将 HDFS 文件路径指定为 "hdfs://namenode:port/path/to/python_code.zip" 的格式。请确保您的 Hadoop 配置正确,并且您有适当的权限来访问该路径。