CDH离线安装全攻略：从ClouderaManager到HA配置

"该文档是关于CDH 5.7.1的离线安装手册，详细阐述了在没有网络连接的情况下如何一步步安装配置CDH生态环境，包括Cloudera Manager和CDH组件。" 正文: 在安装CDH之前，首先需要进行一系列的系统环境搭建工作。这包括但不限于修改主机名、网络配置、设置SSH无密码登陆、安装JDK以及配置MySQL。这些步骤对于确保后续安装过程的顺利进行至关重要。 1. 修改主机名：在所有节点上，修改主机名是为了方便管理和识别各个节点，确保集群内的通信正常。 2. 网络配置：配置网络参数，确保所有节点之间可以相互通信，这对于集群的组建和数据传输是必要的。 3. SSH无密码登陆：设置SSH无密码登陆可以简化节点间交互的验证过程，提高自动化部署效率。 4. 安装JDK：JDK是运行CDH组件的基础，需要先卸载可能存在的OpenJDK，然后安装Oracle JDK，因为某些CDH组件可能需要特定版本的JDK支持。 5. 配置MySQL：作为CDH中的元数据存储，需要在主节点上安装并配置MySQL，包括卸载原有MySQL，安装新的MySQL服务器，并创建所需的数据库。 接下来是安装Cloudera Manager（CM）。这一步骤包括解压CM安装包，创建cloudera-scm用户，初始化CM数据库，配置Agent，同步到其他节点，以及准备Parcels来安装CDH。 1. 解压安装：在主节点上解压Cloudera Manager的安装文件，这是启动安装流程的第一步。 2. 创建cloudera-scm用户：这个用户用于运行CM服务，确保权限和安全性的分离。 3. 初始化CM数据库：CM需要一个数据库来存储集群的配置信息，这个过程会创建所需的数据库并进行必要的初始化操作。 4. Agent配置：在主节点上配置Agent，这一步包括设置Agent的配置文件，以便与CM服务器通信。 5. 同步Agent：将配置好的Agent配置文件分发到其他所有节点，确保所有节点都具备相同的配置。 6. 准备Parcels：Parcels是CDH组件的分发方式，需要在主节点上下载并准备，以便通过CM进行安装。 然后，通过CM进行CDH的安装和配置。这涉及到选择CM版本，查看和选择安装包，指定主机，设置存储库，安装Parcel，主机正确性检查，以及服务的设置和角色分配。 1. 登陆控制台：使用CM的Web界面进行管理操作。 2. 选择CM版本：确保选择与已准备的Parcels相匹配的CM版本。 3. 查看安装包：确认CM和CDH的版本正确且完整。 4. 指定主机：在CM控制台中，指定各个CDH组件将在哪些主机上运行。 5. 选择存储库：选择正确的Parcels存储库，通常是本地的Parcels目录。 6. 安装Parcel：启动安装流程，将CDH组件安装到指定的主机上。 7. 主机正确性检查：CM会检查主机是否满足安装条件，如JDK、网络等。 8. 服务设置：选择需要在集群中运行的服务，如HDFS、YARN、Hive等。 9. 角色分配：根据硬件资源和需求，分配服务的各个角色到不同节点。 在CDH安装完成后，通常还需要进行高可用性(HA)的配置，如Namenode的HA和YARN的HA，以确保数据的安全性和服务的连续性。 1. 启用Namenode HA：设置两个Namenode节点，一个为主，一个为备用，提供故障切换能力。 2. 设置NameService名称：定义Namenode HA的标识。 3. 分配角色：将Namenode和JournalNode的角色分配给合适的节点。 4. 设置JournalNode目录：配置JournalNode的存储路径，用于记录HDFS的元数据变更。 5. 启动备用节点：启动备用Namenode，进入热备状态。 6. HiveMetastore更新：当Namenode HA启用后，需要更新HiveMetastore的配置，使其指向HA的Namenode。 7. YARN HA配置：类似地，配置YARN的ResourceManager以实现HA，确保调度器的高可用。 以上就是CDH 5.7.1的离线安装和配置流程，整个过程中需要注意的是每个步骤的细节，确保所有配置正确无误，以保证CDH集群的稳定运行。在实际操作中，可能还需要考虑其他因素，如性能优化、安全性设置等。