搭建Hadoop运行环境

Hadoop是一个开源的大数据处理框架，用于分布式存储和计算。要搭建Hadoop运行环境，你需要完成以下几个步骤：

1. **选择操作系统**: Hadoop主要在Linux上运行，Windows也可以通过VMware等工具模拟Linux环境。推荐使用Ubuntu或CentOS。

2. **安装Java**: Hadoop需要Java Development Kit (JDK)。确保已安装最新版本的JDK，并设置JAVA_HOME环境变量。

3. **下载Hadoop**: 可从Apache官方网站下载Hadoop源代码或预编译的发行版，如Hadoop 2.x或Hadoop 3.x（Hadoop 3.x更侧重于YARN和HDFS 3）。

4. **配置环境变量**: 创建或编辑`~/.bashrc`（Linux）或`%USERPROFILE%\.bash_profile`（Mac）文件，添加Hadoop和Hadoop命令行工具的路径。

5. **搭建HDFS**: 运行`bin/hadoop namenode -format`初始化NameNode，并启动Datanodes和NameNode服务。

6. **启动Hadoop**: 使用`start-dfs.sh`启动HDFS，`start-yarn.sh`启动YARN（如果使用的是Hadoop 2或更高版本）。

7. **验证安装**: 在浏览器中访问`http://localhost:50070`（HDFS WebUI）和`http://localhost:8088`（YARN WebUI），检查是否正常运行。

8. **集群配置**: 如果你需要一个完整的Hadoop集群，还需要设置至少一个Secondary NameNode、ResourceManager、NodeManager等。

9. **安全设置**: 对于生产环境，可能需要配置 Kerberos 和/or Hadoop的其他安全组件，如Kerberos、SSL/TLS。

10. **监控与日志**: 安装并配置Hadoop的监控工具，如Hadoop Metrics2或Ganglia，以便跟踪性能和错误。

**相关问题--:**
1. Hadoop有哪些主要组成部分？
2. 如何配置Hadoop的环境变量以确保命令行工具可用？
3. 在Hadoop集群中，NameNode和DataNode分别承担什么角色？