Ambari2.1.0集群安装配置指南(Hadoop Yarn Spark)

"该文档详细介绍了在Ambari 2.1.0版本下如何进行Hadoop、YARN和Spark集群的安装配置。主要步骤包括配置hosts文件、升级openssl、设置SSH用户等价、解压安装文件、安装PostgreSQL数据库、配置启动Nginx、配置YUM本地源、安装Ambari-server以及安装配置Ambari的各种组件。" 在安装Ambari 2.1.0以构建Hadoop、YARN和Spark集群的过程中，首先需要对基础环境进行一些必要的设置： 1. **配置hosts文件**：这是集群通信的基础，通过编辑`/etc/hosts`文件，将各个节点的IP地址与主机名映射，确保集群内节点间可以互相识别。例如，将172.18.18.11分配给my1，172.18.18.12分配给my2，以此类推。 2. **升级openssl**：在CentOS 6.5系统上，需要检查当前openssl的版本，并进行升级，以提高安全性。升级后，openssl的版本应更新到1.0.1e-30.el6.x86_64。 3. **配置ssh用户等价**：通过ssh-keygen生成RSA密钥对，并将公钥添加到所有节点的`~/.ssh/authorized_keys`文件中，实现无密码SSH登录。这一步对于在不同节点间自动化执行命令至关重要。 4. **解压安装文件**：将Ambari及其依赖的HDP软件包解压缩到指定目录，例如 `/var/www/html/`，以便后续安装。 接下来是集群基础设施的准备： 5. **安装并启动PostgreSQL数据库**：Ambari使用PostgreSQL作为其元数据存储，所以需要先安装PostgreSQL数据库并确保其正常运行。 6. **配置并启动Nginx**：Nginx作为反向代理服务器，用于提供Ambari Web界面。需要正确配置Nginx以指向Ambari服务器，并启动服务。 7. **配置yum本地源**：创建一个本地YUM源，将HDP软件包存放于此，便于Ambari安装过程中快速获取依赖包。 之后，进入Ambari的安装和配置阶段： 8. **安装配置ambari-server**：执行Ambari-server的相关脚本，进行初始化、设置数据库连接等，然后启动Ambari-server。 9. **安装配置ambari各组件**：通过Ambari-web界面，可以方便地安装和配置Hadoop、YARN和Spark等组件。此步骤包括设置组件的安装位置、配置参数等，确保组件能正确协同工作。 整个过程完成后，便成功搭建了一个基于Ambari管理的Hadoop、YARN和Spark集群，能够提供高效的数据处理和分析能力。在实际操作时，还应注意监控系统状态，定期更新维护，确保集群的稳定性和安全性。