spark读取oss信息 写入另一个oss 代码示例

以下是使用Apache Spark读取一个OSS文件并将其写入另一个OSS文件的示例代码：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.DataFrame
import org.apache.spark.sql.SaveMode

// 初始化SparkSession
val spark = SparkSession.builder
  .appName("OSS example")
  .config("spark.some.config.option", "some-value")
  .getOrCreate()

// 读取OSS文件
val df: DataFrame = spark.read
  .format("com.aliyun.spark.oss")
  .option("endpoint", "oss-cn-hangzhou.aliyuncs.com")
  .option("accessKeyId", "<your-access-key>")
  .option("accessKeySecret", "<your-access-secret>")
  .option("bucket", "<your-bucket-name>")
  .option("path", "<your-file-path>")
  .load()

// 处理数据，这里只是简单的打印schema和前10行数据
df.printSchema()
df.show(10)

// 将数据写入另一个OSS文件
df.write
  .format("com.aliyun.spark.oss")
  .option("endpoint", "oss-cn-hangzhou.aliyuncs.com")
  .option("accessKeyId", "<your-access-key>")
  .option("accessKeySecret", "<your-access-secret>")
  .option("bucket", "<your-bucket-name>")
  .option("path", "<your-new-file-path>")
  .mode(SaveMode.Overwrite)
  .save()

// 关闭SparkSession
spark.stop()

请注意，您需要将上述代码中的`<your-access-key>`、`<your-access-secret>`、`<your-bucket-name>`和`<your-file-path>`替换为您的具体信息。此外，您还需要将`<your-new-file-path>`替换为您想要将数据写入的新OSS文件的路径。