spark读取oss数据写入另一个oss 代码示例

下面是一个spark读取oss数据写入另一个oss的代码示例：

import org.apache.spark.sql.SparkSession

object OssExample {
  def main(args: Array[String]): Unit = {
    // 创建SparkSession
    val spark = SparkSession.builder()
      .appName("OssExample")
      .master("local[*]")
      .getOrCreate()

    // 读取OSS数据
    val data = spark.read.text("oss://bucket-name/path/to/file.txt")

    // 处理数据
    val result = data.filter(row => row.getString(0).contains("hello"))

    // 将结果写入另一个OSS
    result.write.text("oss://another-bucket/path/to/result.txt")

    // 关闭SparkSession
    spark.stop()
  }
}

在以上示例中，我们使用`SparkSession`对象创建了一个Spark应用程序。然后，我们使用`spark.read.text`方法读取了一个OSS文件，并使用`filter`方法对数据进行处理。最后，我们使用`result.write.text`方法将结果写入另一个OSS文件。

需要注意的是，需要在代码中配置OSS的访问密钥和访问密钥ID。这可以通过在`SparkSession`对象中设置`spark.hadoop.fs.oss.accessKeyId`和`spark.hadoop.fs.oss.accessKeySecret`属性来完成。例如：

val spark = SparkSession.builder()
  .appName("OssExample")
  .master("local[*]")
  .config("spark.hadoop.fs.oss.accessKeyId", "your-access-key-id")
  .config("spark.hadoop.fs.oss.accessKeySecret", "your-access-key-secret")
  .getOrCreate()

在实际生产环境中，我们可以使用Spark的配置管理系统将这些属性存储在配置文件中，以便更方便地管理和修改。