CDH5.4.5离线安装全攻略：从环境准备到ClouderaManager

"CDH5.4.5 离线安装配置文档" 本文档详细介绍了如何在离线环境中安装和配置CDH5.4.5，CDH是Cloudera Distributed Hadoop的简称，由Cloudera公司提供，包含了多个Apache Hadoop生态系统的组件，如HDFS、MapReduce、YARN等。ClouderaManager是Cloudera公司专有的管控平台，用于简化Hadoop集群的部署、管理和监控。 1. **软件介绍** - CDH是一个经过测试和优化的Hadoop发行版，提供了稳定和高性能的Hadoop生态系统组件。 - ClouderaManager (CM) 是一个集中式管理工具，使得管理员可以方便地部署、配置、监控和管理整个CDH集群，无需深入理解分布式系统的复杂性。 2. **环境准备** - **系统环境**：确保所有服务器运行的是支持CDH的Linux发行版，并确认硬件配置满足CDH的需求。 - **服务器配置**：根据集群规模和预期工作负载来调整服务器硬件配置。 - **JDK安装**：在所有节点上安装JDK，因为许多Hadoop组件依赖Java运行时环境。 - **关闭防火墙**：为了确保集群内节点间的通信畅通，需要关闭所有节点上的防火墙。 - **绑定IP与主机名**：更新`/etc/hosts`文件，确保每个节点的IP地址与其主机名对应，并设置静态主机名。 - **SSH无密码登陆**：配置SSH密钥对，实现节点间无密码登录，简化集群管理操作。 - **NTP服务**：安装NTP以保持所有节点的时间同步，这对于分布式计算至关重要。 3. **安装MySQL** - **MySQL安装包准备**：提前下载MySQL安装包，因为在离线环境中无法在线获取。 - **检查MySQL版本**：确保安装的MySQL版本与CDH5.4.5兼容。 - **清理旧版本**：如果已有旧版本MySQL，需要先卸载，以免冲突。 - **安装MySQL**：按照标准流程安装MySQL服务器。 - **启动数据库**：启动MySQL服务以供ClouderaManager使用。 - **设置密码**：为MySQL root用户设置安全密码。 - **创建数据库和授权**：创建用于ClouderaManager的数据库并授权相应权限。 4. **ClouderaManager安装** - **安装rpm包**：在master节点上安装ClouderaManager Server，在其他节点上安装Agent。 - **配置本地源**：配置本地仓库，以便在离线环境中安装ClouderaManager所需的所有RPM包。 - **启动ClouderaManager**：启动Server和Agent，完成ClouderaManager的基本配置。 5. **安装CDH** - 在ClouderaManager界面中，按照提示选择要安装的CDH组件和服务，进行集群的全面部署。 6. **CM卸载** - 如果需要卸载ClouderaManager和CDH，应按照官方文档的指示进行，确保清理所有相关配置和数据。 7. **杂记：Namenode和Secondarynamenode的关系** - Namenode是HDFS的主要名称节点，负责元数据管理，而Secondarynamenode并非其备份，而是辅助Namenode定期合并编辑日志，以防日志文件过大导致性能下降。 整个安装过程涉及多个步骤，每一步都需要仔细执行，以确保CDH5.4.5的稳定运行。离线安装虽然增加了部署的复杂性，但通过提前准备和详细规划，可以成功地在没有互联网连接的环境中构建起一个功能完备的Hadoop集群。