hadoop fs -du -s -h /data/IT/PRD/IT_BI_PRD_REF/TR_L_POST_ACCT_CHRG_ITEM_REL,参考这条命令,写一个shell脚本查出所有Hadoop目录下表的占用空间

在Linux环境下，你可以编写一个简单的Shell脚本来遍历Hadoop文件系统（HDFS）并统计指定目录及其子目录下的所有表占用的空间。这里是一个示例脚本：

#!/bin/bash

# 定义要搜索的起始目录
START_DIR="/data/IT/PRD/IT_BI_PRD_REF/TR_L_POST_ACCT_CHRG_ITEM_REL"

# 使用hadoop fs命令查找目录及其所有子目录下的总大小
# -du 显示磁盘使用情况
# -s 合并子目录的大小
# -h 以人类可读的格式显示容量（如Kb、Mb、Gb等）
# --skip-trailing-slash 防止路径结尾有"/"导致递归错误
SIZE=$(hadoop fs -du -s -h $START_DIR --skip-trailing-slash)

echo "Total size of all tables in the directory $START_DIR: $SIZE"

# 查找所有子目录并递归计算
find "$START_DIR" -type d -maxdepth 1 | while read -r dir; do
  SUB_DIR_SIZE=$(hadoop fs -du -s -h "$dir" --skip-trailing-slash)
  echo "Sub-directory $dir occupies: $SUB_DIR_SIZE"
done