hdfs 一个目录下的所有文件大小之和的命令
时间: 2024-03-06 15:46:21 浏览: 18
可以使用hdfs dfs -du命令来获取一个目录下所有文件的大小信息,并通过管道符号将输出传递给awk命令,使用awk命令对所有文件的大小进行求和,命令如下:
```
hdfs dfs -du -s /path/to/directory | awk '{ sum += $1 } END { print sum }'
```
其中,/path/to/directory是你要查找的目录路径,命令将输出所有文件的大小之和。
相关问题
shell脚本批量获取hdfs当前目录下所有文件的磁盘大小
要批量获取HDFS当前目录下所有文件的磁盘大小,你可以使用Hadoop的`hdfs dfs -du`命令。下面是一个示例的shell脚本:
```shell
#!/bin/bash
# 获取HDFS当前目录下所有文件的磁盘使用情况
hdfs dfs -du -h -s */*
```
这个脚本会使用`hdfs dfs -du`命令来获取HDFS当前目录下所有文件的磁盘使用情况。其中,`-h`选项表示以人类可读的方式显示大小,`-s`选项表示只显示总和。
你可以将以上代码保存为一个名为`disk_usage_hdfs.sh`的文件,然后在终端中执行该脚本,即可获得HDFS当前目录下所有文件的磁盘大小信息。
查看hdfs目录文件大小
可以使用hadoop fs -du命令来查看HDFS目录下文件的大小,命令格式为:hadoop fs -du [-s] [-h] [-x] URI [URI …]
其中,-s选项表示只显示总大小,-h选项表示以易读的方式显示大小,-x选项表示不统计同一个文件的不同副本的大小。
例如,要查看HDFS根目录下所有文件的大小,可以执行以下命令:
hadoop fs -du /