Hadoop HDFS操作指南：创建、查看与文件传输

"这篇文档详细介绍了Hadoop HDFS（分布式文件系统）的基本操作，包括创建、查看目录，从本地计算机复制文件到HDFS以及从HDFS复制文件到本地计算机的方法。" 在Hadoop的分布式文件系统（HDFS）中，管理文件和目录是Hadoop集群操作的基础。以下是一些关键知识点： ### 1. 创建和查看目录 - 创建目录：使用`hadoopfs-mkdir`命令可以创建单级目录，如`hadoopfs-mkdir /test`。如果要创建多级目录，可以使用`-p`选项，例如`hadoopfs-mkdir -p /dir1/dir2/dir3`。 - 查看目录：通过`hadoopfs-ls`命令可以查看指定目录的内容，例如`hadoopfs-ls /test`查看`/test`目录。查看根目录使用`hadoopfs-ls /`，而`hadoopfs-ls -R /`会递归显示所有子目录的内容。 ### 2. 从本地复制文件到HDFS - 复制单个文件：使用`hadoopfs-put`命令，如`hadoopfs-put /home/jx/readme.txt /test/readme.txt`。确保本地文件路径正确，并指定HDFS的目标路径。 - 强制复制文件：使用`-f`选项可覆盖已存在的文件，如`hadoopfs-put -f /home/ljx/readme.txt /test/readme.txt`。 - 复制多个文件：可以一次复制多个文件，如`hadoopfs-put /home/ljx/aaa.dat /home/ljx/bbb.dat /test`。 - 复制目录：使用`hadoopfs-put`与目录路径，例如`hadoopfs-put ./hadoop/etc /test`将整个`./hadoop/etc`目录复制到HDFS的`/test`下。 ### 3. 查看HDFS中的文件和目录 - 查看文件：通过`hadoopfs-ls`命令可以查看目录内容，如`hadoopfs-ls /test`。使用`-R`选项查看所有子目录和文件，如`hadoopfs-ls -R /test/etc`。 ### 4. 输入和输出操作 - 复制并输入：可以将标准输入（例如`echo`命令的输出）通过管道`|`传递给`hadoopfs-put`，然后读取，如`echo abc | hadoopfs-put - /test/echoin.txt`和`echo abc | hadoopfs-cat /test/echoin.txt`。 - 本地目录列表到HDFS：可以将本地目录列表写入HDFS文件，如`ls ./hadoop/etc/hadoop/ | hadoopfs-put - /test/hadooptc.txt`，然后使用`hadoopfs-cat`查看内容。 ### 5. 从HDFS复制文件到本地计算机 虽然文档未提供具体示例，但要从HDFS复制文件到本地，可以使用`hadoopfs-get`命令，例如`hadoopfs-get /test/readme.txt /local/path/`，这将把HDFS中的`readme.txt`文件复制到本地的`/local/path/`目录下。 掌握这些基本操作是理解和使用Hadoop HDFS的关键，这对于大数据处理和分析至关重要。通过这些命令，用户能够有效地管理和交互HDFS上的文件和数据，从而实现大数据的存储和处理。