spark读取oss数据 写入另一个oss

首先需要安装hadoop-aliyun包，然后在spark中读取oss数据的时候，需要指定oss的访问密钥和访问密钥ID。

读取oss数据的示例代码如下：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("read-oss-data")
  .config("spark.hadoop.fs.oss.accessKeyId", "<your-access-key-id>")
  .config("spark.hadoop.fs.oss.accessKeySecret", "<your-access-key-secret>")
  .getOrCreate()

val df = spark.read.parquet("oss://<your-bucket-name>/<your-path>")
df.show()

在写入另一个oss的时候，同样需要指定访问密钥和访问密钥ID。写入oss数据的示例代码如下：

import org.apache.spark.sql.SparkSession

val spark = SparkSession.builder()
  .appName("write-oss-data")
  .config("spark.hadoop.fs.oss.accessKeyId", "<your-access-key-id>")
  .config("spark.hadoop.fs.oss.accessKeySecret", "<your-access-key-secret>")
  .getOrCreate()

val df = spark.read.parquet("oss://<your-bucket-name>/<your-input-path>")

df.write.parquet("oss://<your-bucket-name>/<your-output-path>")

注意，写入oss数据的时候，需要保证输出路径是不存在的，否则会报错。如果要覆盖已有的数据，可以在输出路径后加上`?overwrite=true`参数。