CentOS6.5离线安装CDH-5.13.1详细步骤

"CDH-5.13.1安装文档" 在本文档中，我们将详细介绍如何在CentOS 6.5环境下离线安装CDH 5.13.1。CDH (Cloudera Distribution Including Apache Hadoop) 是Cloudera公司提供的一个企业级Hadoop发行版，包含了多个大数据处理组件，如HDFS、MapReduce、YARN、HBase等。此安装过程适用于那些没有互联网连接或者希望在隔离环境中部署CDH的用户。 首先，确保你的系统满足以下前提条件： 1. 操作系统：CentOS 6.5 2. JDK版本：1.8 在开始安装之前，你需要下载以下软件包： 1. CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel 和其SHA校验文件 2. manifest.json 3. cloudera-manager-el6-cm5.13.1_x86_64.tar.gz Cloudera Manager可以从以下地址下载： http://archive.cloudera.com/cm5/cm/5/ CDH组件可以从这个地址获取： http://archive.cloudera.com/cdh5/parcels 所有CDH相关的Parcel包应放在主节点的 `/opt/cloudera/parcel-repo/` 目录下，并且注意，文件 `CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1` 需要重命名为 `CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha`，这是为了防止Cloudera Manager尝试在线下载该文件。 在开始安装前，还需完成一些系统环境的准备工作： 1. **网络配置**：所有节点需要正确配置网络，确保它们之间可以互相通信。 2. **SSH免密码登录**：设置所有节点之间的SSH免密登录，便于后续的自动化部署。 3. **关闭防火墙**：为了简化安装，建议关闭防火墙，或者至少打开必要的端口。 4. **关闭SELINUX**：SELinux的安全策略可能会阻止某些服务运行，所以通常在安装时将其设为禁用或宽松模式。 5. **安装JDK**：安装Java 1.8，因为CDH需要Java环境才能运行。 6. **设置NTP**：同步所有节点的时间，确保集群内的时钟一致。 7. **安装配置MySQL**：作为Cloudera Manager的数据库，用于存储配置和监控数据。 接下来是安装步骤： 1. **安装Cloudera Manager Server & Agent**：在主节点上解压Cloudera Manager安装包，并按照文档指示进行安装。 2. **创建用户cloudera-scm**：在所有节点上创建用户，用于Cloudera Manager服务。 3. **配置CMAgent**：在每个节点上配置Cloudera Manager Agent，使其指向Cloudera Manager Server。 4. **配置CMServer的数据库**：根据文档指示连接到MySQL并创建Cloudera Manager所需的数据库。 5. **创建Parcel目录**：在Cloudera Manager Server上创建Parcel目录，用于存放下载的CDH Parcel包。 6. **启动CMManager & Agent服务**：启动Cloudera Manager Server和Agent服务，开始管理界面。 最后，你可以通过Cloudera Manager界面进行CDH 5的安装，监控安装进度，并进行后续的集群配置。 请注意，每个节点的内存配置应该足够，以避免在安装过程中因资源不足导致失败。文中提到，服务节点至少需要8GB内存，而其他节点至少需要2GB。 此外，文档还提供了MySQL数据库的创建和删除脚本，以便于管理和维护Cloudera Manager的数据库。 这个文档提供了一个详尽的离线安装CDH 5.13.1的指南，对于那些希望在离线环境中部署Hadoop集群的用户非常有用。遵循这些步骤，你应该能够成功地在你的CentOS 6.5系统上建立一个完整的CDH集群。