虚拟机部署Ambari与HDP 2.6.X：详细步骤与环境准备

本文档主要介绍了如何在虚拟机上部署Ambari和HDP 2.6.X版本的详细步骤，这与CDH的部署流程相似。首先，需要在一台满足一定硬件要求（内存大于6GB，磁盘至少40GB，其中/data分区至少10GB）的虚拟机上进行部署。 1. **安装包准备**： - 下载必要的软件包，包括Java Development Kit (JDK) 8u144的Linux版本，Ambari安装包（如ambari-2.6.1.5-centos7.tar.gz），HDP RPM包（如HDP-2.6.4.0-centos7-rpm.tar.gz），以及HDP UTILS（HDP-UTILS-1.1.0.22-centos7.tar.gz）。这些包可以从Hortonworks官方仓库获取，链接分别如下： - Ambari安装包：[链接1](http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.1.5/ambari-2.6.1.5-centos7.tar.gz) - HDP GPL RPM包：[链接2](https://download.csdn.net/download/ljk168/10351315) - HDP RPM包：[链接3](http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.4.0/HDP-2.6.4.0-centos7-rpm.tar.gz) - HDP UTILS包：[链接4](http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz) 2. **主机环境准备**： - 对虚拟机进行必要的系统调整，包括： - 修改网络设置，确保NAT模式下所有主机在同一网段，且可以访问外网。 - 禁用SELinux以提高兼容性。 - 改变主机名，便于识别。 - 关闭防火墙以允许必要的网络通信。 - 配置SSH免密登录以简化后续操作。 - 启用HTTP服务，以便Ambari管理界面访问。 - 设置时钟同步，保持集群时间一致性。 3. **静态IP配置**： - 使用`vim`编辑器修改网络接口文件（如ifcfg-ens33），将DHCP自动分配改为静态配置，指定IP地址、子网掩码和网关。 4. **集群部署流程**： - 安装并配置Ambari Server，作为集群管理工具。 - 在Ambari中添加HDP组件，如HDFS、YARN、MapReduce等。 - 配置各组件，包括安装、配置和服务启动。 - 检查和验证部署，确保所有服务正常运行。 5. **扩容与加入新节点**： - 成功部署单节点后，可以按照类似步骤添加更多节点至集群，通过Ambari的拓扑管理和扩容功能进行便捷操作。 - 新节点的磁盘、内存等配置也需满足最小要求，并遵循Ambari的指导进行配置。 这篇文档提供了在虚拟机环境中部署Ambari和HDP 2.6.X版本的详尽步骤，适合对大数据平台有需求的用户参考，确保在遵循安全性和性能优化的前提下，顺利完成集群的搭建。