CentOS6.5离线安装ClouderaManager与CDH5.3.4详细步骤

本文主要介绍了如何离线安装Cloudera Manager 5.3.4以及CDH 5.3.4，重点在于系统的前期配置，包括设置静态IP、修改主机名、绑定IP与主机名以及配置SSH免密码登录。 离线安装Cloudera Manager和CDH是针对网络环境不佳或安全策略限制网络访问的情况，以下步骤详细阐述了整个安装过程： 1. **设置静态IP地址**：在Linux系统中，通过编辑`/etc/sysconfig/network-scripts/ifcfg-eth0`文件来设置网络接口的静态IP地址。这一步确保服务器有固定的网络标识，便于后续的集群通信。 2. **修改主机名**：使用`hostname`命令可以临时设置主机名，而要永久生效，则需要编辑`/etc/sysconfig/network`文件，确保`HOSTNAME`变量设置为所需的主机名。 3. **绑定IP与HostName**：在`/etc/hosts`文件中添加所有节点的IP地址和对应的主机名，这样可以在集群内进行名称解析，避免依赖DNS服务。 4. **设置SSH免密码登录**：在所有节点上生成SSH密钥对，并将公钥添加到`authorized_keys`文件中，实现无密码的SSH登录，简化集群管理操作。首先在每个节点上运行`ssh-keygen -t rsa`生成密钥对，然后将`id_rsa.pub`文件内容追加到`authorized_keys`，最后通过`scp`命令将`/etc/hosts`文件复制到其他节点并覆盖，确保所有节点的主机名映射一致。 接下来的安装流程可能包括以下步骤： 5. **安装Java环境**：Cloudera Manager和CDH需要Java运行时环境，确保系统已安装Java 6或7。 6. **下载Cloudera Manager和CDH安装包**：在离线环境下，需要预先下载Cloudera Manager的安装包`cloudera-manager-el6-cm5.3.4_x86_64.tar.gz`和MySQL连接器`mysql-connector-java-5.1.25-bin.jar`，并将其上传到服务器。 7. **安装Cloudera Manager**：解压Cloudera Manager的安装包，按照官方文档的指示执行安装脚本，配置相关的配置文件，如`cm-agent.conf`。 8. **配置Cloudera Manager仓库**：离线安装需要手动配置Cloudera Manager仓库，将CDH的安装包上传至服务器的某个目录，并在Cloudera Manager界面中指定该路径。 9. **安装CDH组件**：在Cloudera Manager界面中选择需要安装的CDH组件，如HDFS、YARN、HBase等，按照提示进行安装。 10. **配置服务**：安装完成后，需要配置各个服务的参数，如HDFS的NameNode和DataNode、YARN的ResourceManager和NodeManager等。 11. **启动和验证服务**：启动所有安装的服务，检查它们是否正常运行，通过Cloudera Manager监控界面查看服务状态和日志。 离线安装Cloudera Manager和CDH涉及的步骤较多，且需要对Linux系统和Hadoop有一定的了解。在整个过程中，确保每一步骤的正确执行至关重要，否则可能会导致安装失败或后续使用中的问题。同时，对于大型集群，强烈建议创建详细的安装和配置文档，以便日后维护和故障排查。