CDH高可用部署详细指南

"CDH高可用性(High Availability, HA)部署是确保Cloudera Data Hub(CDH)集群持续运行的关键步骤，即使在主节点故障时也能保证服务不间断。本教程将指导您完成CDH HA的前期准备和基础配置工作。 在开始CDH HA部署之前，首先要进行的是网络配置。在所有参与的节点上，需要编辑`/etc/hosts`文件，将每个节点的IP地址与主机名对应起来。例如，节点scm-node1、scm-node2和scm-node3的IP地址分别为192.168.245.105、192.168.245.106和192.168.245.107。这样可以确保节点间通信的稳定性。 接下来，设置每个节点的hostname。在每个节点上使用`hostnamectl`命令设置静态和瞬态hostname，例如在scm-node1上执行`sudo hostnamectl --static --transient set-hostname scm-node1`，同样操作其他节点。 为了确保服务间的通信畅通，需要关闭防火墙。在CentOS 6系统中，使用`chkconfig iptables off`关闭开机启动的iptables，并通过`service iptables stop`立即停止iptables服务。而在CentOS 7中，对应的命令为`chkconfig firewalld off`和`service firewalld stop`。 另外，关闭SELinux也是必要的，因为它可能限制了某些服务的正常运行。在scm-node2和scm-node3上，使用`sed`命令修改`/etc/selinux/config`文件，将`SELINUX=enforcing`改为`SELINUX=disabled`。 在CDH HA部署中，NTP时钟同步是必不可少的，因为它确保了所有节点的时间一致性，这对于数据一致性至关重要。同时，双机互信设置允许节点之间安全地通信和交换数据。 在硬件和软件准备阶段，确保在scm-node2和scm-node3上已经安装了CDH和MySQL。这些组件是CDH HA的核心，提供数据存储和服务管理。 为了支持共享文件系统，如HDFS中的NameNode HA，需要安装NFS。在CentOS 6和7系统中，可以选择在线或离线安装NFS软件包。在线安装可以通过`yum -y install nfs-utils rpcbind`完成；对于离线安装，需要下载一系列的RPM包并逐个安装。 此外，还需要注意的是，CDH HA部署涉及到的组件包括Hadoop、HBase、YARN、Hive、Oozie等，它们都需要配置高可用模式。例如，NameNode HA需要配置两个NameNode（一个为主，一个为备用），Zookeeper集群用于选举主NameNode，ResourceManager也需要配置为HA模式。 CDH HA部署是一个涉及多方面配置和优化的过程，需要确保网络、系统安全、时间同步、软件安装等多个环节都得到妥善处理。在整个部署过程中，务必遵循Cloudera的官方文档和最佳实践，以确保系统的稳定性和可靠性。"