Hadoop命令详解与实战指南

本文介绍了Hadoop命令大全，涵盖了在Hadoop分布式文件系统(HDFS)中进行基本操作的各种命令，包括查看目录内容、打开文件、上传文件和文件夹、下载文件等。此外，还提到了与Hadoop集群管理和监控相关的命令，如格式化NameNode、启动和停止HDFS及MapReduce服务，以及查看作业历史和任务详情。 详细内容： 1. 查看目录内容：使用`hadoop dfs –ls [文件目录]`命令可以查看HDFS中指定目录下的内容。例如，`hadoop dfs –ls /user/wangkai.pt`会显示该目录下的文件和子目录。 2. 打开文件：`hadoop dfs –cat [file_path]`命令用于查看HDFS中的文件内容。如`hadoop dfs -cat /user/wangkai.pt/data.txt`可查看data.txt文件的全部内容。 3. 上传文件：使用`hadoop fs –put [本地地址] [hadoop目录]`命令将本地文件上传到HDFS。例如，`hadoop fs –put /home/t/file.txt /user/t`将file.txt文件传到HDFS的/user/t路径下。 4. 上传文件夹：`hadoop fs –put [本地目录] [hadoop目录]`命令同样适用于文件夹，如`hadoop fs –put /home/t/dir_name /user/t`将本地dir_name目录及其内容上传至HDFS的/user/t路径。 5. 下载文件：要将HDFS上的文件下载到本地，使用`hadoop fs -get [文件目录] [本地目录]`。如`hadoop fs –get /user/t/ok.txt /home/t`将ok.txt文件下载到本地的/home/t目录。 除此之外，还有一些高级Hadoop命令： 6. 查看所有Hadoop Shell支持的命令：输入`$bin/hadoopfs-help`可列出所有可用的Hadoop Shell命令。 7. 获取特定命令帮助：`$bin/hadoopfs-help command-name`提供关于指定命令的详细信息。 8. 查看作业历史日志：`$bin/hadoop job-history output-dir`显示指定目录下的作业历史信息，包括失败和终止的任务详情。 9. 查看更详细的作业信息：`$bin/hadoop job-history all output-dir`提供成功的任务和每个任务尝试次数的详细信息。 10. 格式化NameNode：`$bin/hadoop namenode-format`用于初始化新的HDFS分布式文件系统。 11. 启动HDFS：`$bin/start-dfs.sh`会在NameNode和所有列出的slave节点上启动DataNode守护进程。 12. 启动MapReduce：`$bin/start-mapred.sh`启动JobTracker和所有列出的slave节点上的TaskTracker守护进程。 13. 停止HDFS：`$bin/stop-dfs.sh`关闭所有DataNode守护进程，停止HDFS服务。 14. 停止MapReduce：`$bin/stop-mapred.sh`关闭所有TaskTracker守护进程，停止MapReduce服务。 15. 创建目录：使用`$bin/hadoop dfs-mkdir /foodir`命令可以在HDFS上创建新的目录。 这些基本的Hadoop命令是管理员和开发者日常工作中不可或缺的工具，用于管理Hadoop集群、处理数据以及监控作业执行情况。了解并熟练掌握这些命令对于高效地使用Hadoop至关重要。