spark sql 3.2.1 写入kudu 表
时间: 2023-10-17 16:19:13 浏览: 109
以下是将数据写入 Kudu 表的 Spark SQL 3.2.1 代码示例:
```scala
import org.apache.spark.sql.SparkSession
import org.apache.kudu.spark.kudu._
// 创建 SparkSession
val spark = SparkSession.builder()
.appName("Write to Kudu table")
.master("local[*]")
.getOrCreate()
// 配置 Kudu 表的连接信息
val kuduMaster = "kudu.master:7051"
val kuduTableName = "kudu_table"
// 读取数据并创建 DataFrame
val data = Seq(
(1, "John", 25),
(2, "Alice", 30),
(3, "Bob", 35)
)
val df = spark.createDataFrame(data).toDF("id", "name", "age")
// 将 DataFrame 写入 Kudu 表
df.write
.option("kudu.master", kuduMaster)
.option("kudu.table", kuduTableName)
.mode("append")
.kudu
// 关闭 SparkSession
spark.stop()
```
需要注意的是,上述代码中的 `kudu.master` 和 `kudu.table` 参数需要根据实际情况进行修改。同时,如果目标 Kudu 表不存在,会自动创建一个新表。
阅读全文