spark读取oss数据写入另一个oss

可以使用以下代码将OSS数据读取并写入另一个OSS：

from pyspark.sql import SparkSession

# 创建SparkSession对象
spark = SparkSession.builder.appName("OSS to OSS").getOrCreate()

# 读取OSS数据
df = spark.read.format("oss").option("endpoint", "oss-cn-xxx.aliyuncs.com").option("accessKeyId", "xxx").option("accessKeySecret", "xxx").option("bucket", "input-bucket").option("path", "input-path").load()

# 写入另一个OSS
df.write.format("oss").option("endpoint", "oss-cn-xxx.aliyuncs.com").option("accessKeyId", "xxx").option("accessKeySecret", "xxx").option("bucket", "output-bucket").option("path", "output-path").mode("overwrite").save()

# 关闭SparkSession对象
spark.stop()

在以上代码中，需要将以下参数替换为实际的值：

- `endpoint`: OSS的访问域名，例如`oss-cn-xxx.aliyuncs.com`。
- `accessKeyId`和`accessKeySecret`: 访问OSS的Access Key ID和Access Key Secret。
- `bucket`: 存储数据的OSS Bucket名称。
- `path`: 存储数据的OSS路径。

需要注意的是，在读取和写入OSS数据时，需要使用`format("oss")`指定数据源格式，并使用`option()`方法传递OSS的访问参数。在写入数据时，可以使用`mode("overwrite")`指定覆盖原有数据。