使用spark sql 创建iceberg外部表

您可以按照以下步骤使用 Spark SQL 创建 Iceberg 外部表：

1. 确认您已经在 Spark 中安装了 Iceberg，并且在项目中引入了相关的依赖。

2. 在 Spark 中创建一个 DataFrame，该 DataFrame 的 schema 应该与您要创建的 Iceberg 表的 schema 相匹配。

3. 将该 DataFrame 写入到 Iceberg 表的位置，例如：

   df.write.format("iceberg").mode("append").save("/path/to/table")

4. 在 Spark SQL 中创建一个外部表，使其指向 Iceberg 表的位置，例如：

   spark.sql("CREATE TABLE my_table USING iceberg LOCATION '/path/to/table'")

此外，您还可以添加其他选项，例如分区和排序方式。例如，如果您的 Iceberg 表包含日期分区，请使用以下命令创建外部表：

   spark.sql("CREATE TABLE my_table USING iceberg PARTITIONED BY (date_col) SORTED BY (id) LOCATION '/path/to/table'")

在这个例子中，我们指定了按日期分区，并按 ID 排序。

5. 现在您可以在 Spark SQL 中查询外部表 my_table，Spark 会自动将查询转换为 Iceberg 表的查询语法，并返回结果。

请注意，如果您要在 Spark SQL 中更新 Iceberg 表，您需要使用 Iceberg 提供的 API 进行更新。Spark SQL 只能用于查询外部表。