sparkLauncher 集群模式设置s3a配置

要在SparkLauncher集群模式中设置S3A配置，可以在启动Spark应用程序之前设置以下环境变量：

System.setProperty("spark.hadoop.fs.s3a.access.key", "<AWS Access Key>")
System.setProperty("spark.hadoop.fs.s3a.secret.key", "<AWS Secret Key>")
System.setProperty("spark.hadoop.fs.s3a.endpoint", "<S3 Endpoint>")

其中，`<AWS Access Key>`和`<AWS Secret Key>`是您的AWS凭证，`<S3 Endpoint>`是您的S3终端节点。您也可以设置其他S3A配置属性，例如`fs.s3a.bucket.name`来指定要使用的S3存储桶。

完整的SparkLauncher代码示例：

import org.apache.spark.launcher.SparkLauncher

val launcher = new SparkLauncher()
  .setAppResource("/path/to/your/spark/application.jar")
  .setMainClass("com.example.YourSparkApp")
  .setMaster("yarn")
  .setDeployMode("cluster")
  .setConf("spark.hadoop.fs.s3a.access.key", "<AWS Access Key>")
  .setConf("spark.hadoop.fs.s3a.secret.key", "<AWS Secret Key>")
  .setConf("spark.hadoop.fs.s3a.endpoint", "<S3 Endpoint>")
  .setConf("spark.hadoop.fs.s3a.connection.ssl.enabled", "true")
  .setConf("spark.hadoop.fs.s3a.path.style.access", "true")
val process = launcher.launch()