Cannot set a custom location for a path-based table. Expected hdfs://test1:8020/warehouse/iceberg-hadoop/default/tbl_shilei默认位置该怎么设置那

如果您无法设置Iceberg表的自定义位置，那么默认情况下，Iceberg表将在HDFS上的默认位置存储。

默认位置为：`hdfs://<namenode>:<port>/warehouse/<database>.db/<table_name>`。

您可以通过以下方式设置默认位置：

1. 在创建表时指定位置：

   from pyspark.sql import SparkSession
   from pyspark.sql.functions import *

   spark = SparkSession.builder.appName("IcebergTable").getOrCreate()

   spark.sql("""
             CREATE TABLE db_name.table_name
             USING iceberg
             LOCATION 'hdfs://<namenode>:<port>/warehouse/db_name.db/table_name'
             """)

2. 在Iceberg表的配置中指定位置：

   from pyspark.sql import SparkSession
   from pyspark.sql.functions import *

   spark = SparkSession.builder.appName("IcebergTable").getOrCreate()

   spark.conf.set("spark.sql.catalog.db_name.table_name.location",
                  "hdfs://<namenode>:<port>/warehouse/db_name.db/table_name")

   spark.sql("""
             CREATE TABLE db_name.table_name
             USING iceberg
             """)

请注意，如果您更改了默认位置，则在使用表时需要指定新位置。例如：

from pyspark.sql import SparkSession
from pyspark.sql.functions import *

spark = SparkSession.builder.appName("IcebergTable").getOrCreate()

spark.conf.set("spark.sql.catalog.db_name.table_name.location",
               "hdfs://<namenode>:<port>/warehouse/new_location")

df = spark.read.format("iceberg").load("db_name.table_name")