Hadoop 2.6.5集群快速部署与SSH免密登录指南

本文档详细介绍了如何在Hadoop集群上进行简易安装，主要针对Hadoop 2.6.5版本，这是一个已经编译好的、可以直接使用的tar包，适用于CentOS 6.9操作系统。同时，文档还强调了使用的JDK版本，即Java Development Kit 1.8.0_144，以及设置必要的环境变量来管理和配置JDK。 在集群管理方面，文档提到了Hadoop的Namenode High Availability (HA) 和 YARN Resource Manager HA 的支持，这意味着集群设计考虑了故障转移和冗余，确保了系统的高可用性。Hive on Spark on Yarn 是一种部署模式，它将Hive SQL查询与Apache Spark的分布式计算能力结合起来，充分利用YARN上的资源。 对于服务器间的免密登录，文档提供了基于SSH (Secure Shell) 的实现方法。首先，在Server A上通过ssh-keygen命令生成密钥对，然后将公钥复制到Server B的authorized_keys文件中。当Server A尝试连接Server B时，Server B会验证公钥并进行加密，如果验证通过，便可以实现免密登录。文档还提到，CentOS 7系统默认已经安装了SSH服务，只需通过systemctl命令来控制其启动、停止和状态检查。 此外，文档指出，CentOS 7在生成SSH密钥对时，默认使用RSA加密，存储在~/.ssh目录下。用户可以选择使用其他算法，如DSA，但默认情况下无需输入密码保护私钥。 总结来说，本篇文档提供了一个简化的Hadoop集群安装教程，包括选择合适的版本，设置JDK环境，配置SSH免密登录，以及如何在集群中启用关键的高可用功能。这对于那些希望在企业级环境中部署和管理Hadoop集群的管理员来说，是一份实用的指南。