使用hudi-spark-client写数据到hudi表中

使用hudi-spark-client写数据到hudi表的步骤如下：

1. 首先，创建一个SparkSession对象，并配置相关的Spark和Hudi属性。例如：

val spark = SparkSession.builder()
  .appName("HudiSparkClientExample")
  .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
  .config("spark.sql.hive.convertMetastoreParquet", "false")
  .config("spark.sql.sources.partitionColumnTypeInference.enabled", "false")
  .config("spark.sql.hive.verifyPartitionPath", "false")
  .config("spark.hadoop.hive.exec.dynamic.partition.mode", "nonstrict")
  .config("spark.hadoop.hive.exec.dynamic.partition", "true")
  .config("spark.sql.warehouse.dir", "hdfs://localhost:9000/user/hive/warehouse")
  .config("spark.sql.catalogImplementation", "hive")
  .enableHiveSupport()
  .getOrCreate()

2. 创建一个DataFrame对象，用于存储要写入Hudi表的数据。

val data = Seq(
  (1, "John Doe", 25),
  (2, "Jane Smith", 30)
)

val df = spark.createDataFrame(data).toDF("id", "name", "age")

3. 使用`HoodieSparkSqlWriter`将DataFrame写入Hudi表。指定要写入的表名、要使用的主键列以及要使用的分区列。

df.write
  .format("org.apache.hudi")
  .option("hoodie.table.name", "my_hudi_table")
  .option("hoodie.datasource.write.precombine.field", "id")
  .option("hoodie.datasource.write.recordkey.field", "id")
  .option("hoodie.datasource.write.partitionpath.field", "age")
  .mode(SaveMode.Append)
  .save("hdfs://localhost:9000/path/to/hudi_table")

4. 最后，关闭SparkSession对象。

spark.stop()