Hadoop HDFS命令教程：操作与管理指南

"本文汇总了Hadoop HDFS分布式文件系统的常用命令，适用于需要对HDFS进行操作的场景，包括文件的拷贝、查看、删除以及HDFS的管理等。文章以CentOS 6.0操作系统和Hadoop 0.20.2版本为例，详细介绍了在不同节点上执行的相关命令，旨在帮助读者深入理解HDFS的体系架构。" 在Hadoop HDFS中，掌握基本的命令行操作是至关重要的。以下是一些常见的HDFS命令： 1. 查看HDFS文件系统内容： 使用`hadoop fs -ls [path]`命令可以查看指定路径下的文件和目录。例如，`hadoop fs -ls /`将显示HDFS根目录下的所有内容。 2. 拷贝本地文件到HDFS： `hadoop fs -put local_file hdfs_path`用于将本地文件或目录拷贝到HDFS。如`hadoop fs -put input/* /user/grid/input`会将当前`input`目录下的所有文件上传到HDFS的`/user/grid/input`目录。 3. 从HDFS下载文件到本地： 反之，`hadoop fs -get hdfs_path local_file`用于将HDFS上的文件下载到本地。例如，`hadoop fs -get /user/grid/input/file.txt .`会将`/user/grid/input/file.txt`下载到当前工作目录。 4. 删除HDFS中的文件或目录： `hadoop fs -rm [-r] hdfs_path`用于删除文件或目录。 `-r`标志用于递归删除目录。例如，`hadoop fs -rm -r /user/grid/input`会删除整个`input`目录。 5. 重命名HDFS中的文件或目录： `hadoop fs -mv hdfs_path new_hdfs_path`命令用于重命名或移动文件或目录。例如，`hadoop fs -mv /user/grid/input /user/grid/new_input`会将`input`目录重命名为`new_input`。 6. 查看文件内容： 使用`hadoop fs -cat hdfs_path`可以查看HDFS文件内容。例如，`hadoop fs -cat /user/grid/input/file.txt`会显示`file.txt`的内容。 7. 创建HDFS目录： 类似于Linux，`hadoop fs -mkdir hdfs_path`用于创建目录。如`hadoop fs -mkdir /user/grid/new_dir`会在HDFS上创建`new_dir`目录。 8. HDFS的其他管理命令： - `hadoop dfsadmin -report`：显示HDFS集群的状态，包括名称节点、数据节点的数量、存储容量等信息。 - `hadoop fs -du -s hdfs_path`：计算指定路径的大小。 - `hadoop fs -count hdfs_path`：统计指定路径下文件和目录的数量及总大小。 这些命令对于日常管理和维护Hadoop HDFS系统非常实用。在实际操作中，确保Hadoop环境已经正确配置，并且HDFS服务正常运行，例如通过`jps`命令检查NameNode、DataNode、JobTracker和TaskTracker等进程的状态。在本文示例中，所有相关进程已经在master和slave节点上启动。理解并熟练运用这些命令，能有效提升对HDFS操作的效率和对Hadoop分布式文件系统的理解。