spark在a账户的emr集群读取b账户的oss 写入a账户的erm集群的hive(oss-hdfs)代码示例

以下是一个示例Spark代码，可以在a账户的EMR集群中读取b账户的OSS并将数据写入a账户的Hive表中（OSS到HDFS）：

import org.apache.spark.sql.SparkSession

// 创建SparkSession
val spark = SparkSession.builder()
  .appName("OSS to Hive")
  .getOrCreate()

// 配置OSS访问参数
val accessKeyId = "your_access_key_id"
val accessKeySecret = "your_access_key_secret"
val endpoint = "your_oss_endpoint"
val bucket = "your_oss_bucket"
val path = "your_oss_path"

// 读取OSS数据
val df = spark.read
  .format("com.aliyun.spark.oss")
  .option("accessKeyId", accessKeyId)
  .option("accessKeySecret", accessKeySecret)
  .option("endpoint", endpoint)
  .option("bucket", bucket)
  .option("path", path)
  .load()

// 配置Hive访问参数
val hiveMetastoreUri = "thrift://your_hive_metastore_uri:9083"
val dbName = "your_database_name"
val tableName = "your_table_name"

// 将数据写入Hive表
df.write
  .format("orc")
  .option("compression", "snappy")
  .option("orc.compress.size", "256")
  .option("orc.stripe.size", "268435456")
  .option("orc.row.index.stride", "10000")
  .option("hive.metastore.uris", hiveMetastoreUri)
  .option("hive.exec.dynamic.partition.mode", "nonstrict")
  .option("hive.exec.dynamic.partition", "true")
  .option("hive.exec.max.dynamic.partitions", "10000")
  .option("hive.exec.max.dynamic.partitions.pernode", "10000")
  .option("hive.exec.max.created.files", "100000")
  .mode("append")
  .partitionBy("date")
  .saveAsTable(s"$dbName.$tableName")

注意：在运行代码之前，需要确保已经在a账户的EMR集群上安装了阿里云OSS和Hive的Spark插件。同时，还需要对a账户的EMR集群进行授权，以便让集群可以访问b账户的OSS。具体授权方式可以参考阿里云官方文档。