spark写doris的dwmo

在使用 Spark 对 DorisDB 进行数据操作时，需要先将 DorisDB 的 JDBC 驱动程序添加到 Spark 的 classpath 中。可以通过以下代码实现：

import java.sql.DriverManager
import org.apache.spark.sql.{DataFrame, SparkSession}

// 加载 DorisDB JDBC 驱动程序
Class.forName("com.mysql.jdbc.Driver")

// 创建 SparkSession
val spark = SparkSession.builder
  .appName("DorisDB Spark Demo")
  .master("local[*]")
  .getOrCreate()

// 定义 DorisDB 连接信息
val dorisHost = "doris_host"
val dorisPort = "9030"
val dorisDb = "doris_database"
val dorisUser = "doris_user"
val dorisPassword = "doris_password"

// 定义 DorisDB 表信息
val dorisTable = "doris_table"
val dorisTableColumns = "col1, col2, col3"

// 定义 Spark DataFrame
val data: DataFrame = spark.read.format("csv")
  .option("header", "true")
  .option("inferSchema", "true")
  .load("data.csv")

// 将数据写入 DorisDB
data.write.format("jdbc")
  .option("url", s"jdbc:mysql://$dorisHost:$dorisPort/$dorisDb")
  .option("dbtable", dorisTable)
  .option("user", dorisUser)
  .option("password", dorisPassword)
  .option("batchsize", "10000")
  .option("isolationLevel", "NONE")
  .mode("append")
  .save()

这个代码示例中，首先加载 DorisDB 的 JDBC 驱动程序，然后创建 SparkSession 对象。接下来定义 DorisDB 的连接信息和表信息，使用 Spark DataFrame 读取数据，最后将数据写入到 DorisDB 中。注意，这里的写入模式是 append，表示追加数据到 DorisDB 表中。如果需要覆盖原有数据，可以将 mode 参数设置为 overwrite。