hadoop shell练习

Hadoop Shell，也称为Hadoop命令行工具或Hadoop CLI，是Apache Hadoop项目的一部分，它提供了一套命令行接口，用于管理和监控Hadoop集群的各种组件，如HDFS（Hadoop分布式文件系统）和MapReduce。通过Hadoop Shell，你可以执行常见的任务，如创建目录、上传下载文件、查看文件系统内容、运行MapReduce作业等。

以下是一些Hadoop Shell的基本练习：

1. **设置环境变量**：确保`JAVA_HOME`和`HADOOP_HOME`环境变量已设置，这决定了Hadoop命令能找到相关的JAR和配置文件。

2. **检查HDFS状态**：运行`hdfs dfsadmin -report`，查看HDFS的状态，包括块分布和可用空间。

3. **创建目录**：使用`hdfs dfs -mkdir`创建新的目录。

4. **上传文件**：`hdfs dfs -put`将本地文件上传到HDFS。

5. **下载文件**：`hdfs dfs -get`从HDFS下载文件到本地。

6. **运行MapReduce任务**：使用`hadoop jar`命令提交自定义的MapReduce程序。

7. **查看JobTracker状态**：`hadoop job -list`查看当前JobTracker上正在运行的任务。

8. **查看TaskTracker状态**：`hadoop task -list`查看TaskTracker的状态。

9. **清理不再需要的文件和目录**：使用`hdfs dfs -rm`删除HDFS中的文件或目录。