spark submit 传参输入输出

在 Spark 中，我们可以使用 spark-submit 命令来将应用程序提交到集群上运行。下面是关于 spark-submit 传参输入输出的介绍：

1. 传参：我们可以使用 --conf 参数来设置 Spark 配置。也可以使用 --driver-memory 和 --executor-memory 参数来设置内存大小。此外，还可以使用 --class 参数来指定要运行的主类。

2. 输入：我们可以使用 --master 参数指定 Spark 集群的主节点 URL。还可以使用 --deploy-mode 参数来指定应用程序的部署模式。例如，如果我们想要在本地运行应用程序，则可以使用 --jars 参数来指定需要使用的 jar 包。还可以使用 --files 参数来指定需要上传到集群的文件。如果我们想要将输出写入到文件系统，则可以使用 Spark 内置的文件系统 API。