hdfs 上没有分区文件，但在hive中使用show partition会显示分区

这种情况可能是因为你在hive中手动添加了分区信息，但是在hdfs上并没有对应的分区文件。

在hive中，可以通过`ALTER TABLE`命令手动添加分区信息，例如：

ALTER TABLE table_name ADD PARTITION (partition_col=value);

这种情况下，hive会认为这个分区已经存在，即使在hdfs上并没有对应的分区文件。

如果你确信这个分区不存在，可以通过`MSCK REPAIR TABLE`命令来修复hive中的分区信息：

MSCK REPAIR TABLE table_name;

这条命令会遍历hdfs上的所有文件，并自动添加缺失的分区信息到hive中。

相关问题

用大数据分析应用求要求：将archer,assassin,mage,support,tank,以上五张表load加载hdfs,并映射成功hive。 1，创建分区表 2，使用load加载数据 3，检查验证

在Hadoop生态系统中，包括HDFS (Hadoop Distributed File System) 和 Hive，进行大数据分析首先需要设置好环境并理解基本操作步骤。以下是处理你所提到的五个角色表（Archer、Assassin、Mage、Support、Tank）的数据处理过程：

1. **创建分区表**:
- 首先，在Hive中创建一个新的分区表，通常会基于某个日期字段或者其他业务关键字段作为分区键。例如，你可以创建一个名为`character_stats`的表，结构类似这样：

     CREATE TABLE character_stats (
       id INT,
       role STRING,
       ...其他字段...
     ) PARTITIONED BY (date STRING);

- 这里假设`id`为主键，`role`表示角色。

2. **加载数据到HDFS**:
- 使用Hive的`LOAD DATA INPATH`命令从源目录（比如本地文件夹或者外部存储系统）将数据加载到Hive表。例如：

     LOAD DATA LOCAL INPATH 'path_to_your_data/的角色文件*' INTO TABLE character_stats partition (date = 'your_date');

- 如果数据分布在不同文件夹下，可以用通配符`*`匹配所有对应角色的文件，并指定分区值。

3. **检查和验证**:
- 使用`DESCRIBE EXTENDED`或`SHOW TABLE STATS`命令检查表结构和分区信息是否正确加载：

     DESCRIBE EXTENDED character_stats;

- 或者通过SQL查询验证数据是否已经按预期分块存储：

     SELECT * FROM character_stats WHERE date = 'your_date';

- 检查结果应包含各个角色的数据记录，并且数据量和日期分区应该匹配。

hive分区表大小查看

Hive分区表是一种将数据按照指定的列进行分组存储的表，可以更加高效地查询和处理数据。查看Hive分区表的大小可以通过以下方式进行：

1. 使用Hive自带的DESCRIBE EXTENDED命令查看表的详细信息，其中包括每个分区的大小信息。例如：

DESCRIBE EXTENDED tablename;

2. 使用HDFS命令查看每个分区所占用的磁盘空间。例如：

hdfs dfs -du -h /user/hive/warehouse/tablename/partition_column=value;

3. 在Hive中使用SHOW TABLE EXTENDED命令查看表的详细信息，其中包括每个分区的大小信息。例如：

SHOW TABLE EXTENDED tablename;