Hadoop环境搭建与使用

Hadoop是一个开源的大数据处理框架，主要用于分布式存储和处理海量数据。以下是Hadoop环境的基本搭建和使用步骤：

1. **下载和安装**:
- 官方下载Hadoop，通常选择Hadoop 2.x或更高版本，从Apache官网下载Hadoop Common、HDFS（Hadoop Distributed File System）和MapReduce组件。
- 根据操作系统（如Linux或Windows）安装Hadoop，通常会包括核心包、HDFS守护进程（NameNode和DataNode）、MapReduce守护进程（JobTracker和TaskTracker），以及配置工具Hadoop配置文件（core-site.xml, hdfs-site.xml等）。

2. **配置环境变量**:
在系统环境变量中添加Hadoop的bin目录，以便于命令行操作。

3. **验证安装**:
使用`hadoop version`命令检查Hadoop是否安装并正确配置。

4. **创建HDFS集群**:
初始化HDFS集群，通常涉及创建NameNode和DataNode节点。在启动Hadoop之前，先运行`bin/hadoop namenode -format`初始化HDFS。

5. **启动Hadoop服务**:
分别启动HDFS（通过start-dfs.sh或sbin/start-dfs.sh命令）和MapReduce（通过start-yarn.sh或sbin/start-yarn.sh）服务。

6. **上传数据到HDFS**:
使用`hadoop fs -put`命令将文件或目录上传到HDFS的默认路径`/user/$USER`。

7. **运行MapReduce任务**:
使用Hadoop提供的Hadoop Streaming或Hadoop Job Client（现在推荐使用YARN）编写MapReduce程序，并提交到YARN。

8. **查看日志和监控**:
Hadoop提供了各种日志文件和监控工具，如Hadoop的日志目录(`/var/log/hadoop`）和HDFS的Web UI（http://namenode:50070）来查看集群状态。

9. **清理和停止服务**:
在任务完成后，记得关闭HDFS和MapReduce服务，避免资源浪费。