Hadoop集群环境搭建 实验内容： （1）SSH （2）Hadoop集群搭建 （3）Hadoop运行监控根据上述内容写出该实验步骤和实验结果

实验内容：Hadoop集群环境的搭建主要包括SSH（Secure Shell）配置、Hadoop集群构建以及运行监控设置。以下是详细的实验步骤：

1. **SSH（Secure Shell）配置**：
- 安装SSH：首先，在所有节点上安装OpenSSH服务器和客户端。在Linux系统上通常通过包管理器如`apt-get`或`yum`完成。
- 配置公钥认证：确保每个节点之间可以无密码登录，生成SSH密钥对，并将公钥添加到对应节点的`~/.ssh/authorized_keys`文件。

2. **Hadoop集群搭建**：
- **下载与安装Hadoop**：从Apache官网下载适合版本的Hadoop，解压并配置环境变量。
- **启动守护进程**：在Hadoop主节点上，启动NameNode (`start-dfs.sh`) 和 JobTracker (`start-jobtracker.sh`)。
- **副本放置策略**：配置`hdfs-site.xml`中的`dfs.replication`值，确定数据复制的数量。
- **数据节点配置**：在其他节点上，启动DataNodes (`start-datanodes.sh`) 并加入到集群。

3. **Hadoop运行监控**：
- **启动任务跟踪服务**：在主节点上运行JVisualVM或通过命令行查看JobHistoryServer的状态。
- **日志监控**：检查Hadoop的日志文件（如`hadoop.log`），了解集群运行状况。
- **性能监控工具**：使用Hadoop自带的Hadoop Health Checker (HHC) 或第三方工具如Ganglia、Nagios监控集群资源使用情况。

实验结果：
- 成功建立了一个可以通过SSH无密码访问的Hadoop集群。
- NameNode和JobTracker正在正常运行，DataNodes也已加入到集群中。
- 监控工具显示集群健康，任务提交、执行及数据存储均正常。