离线安装ClouderaManager5与CDH5详细教程

"离线安装ClouderaManager5和CDH5" 在大数据处理领域，Cloudera's Distribution, including Apache Hadoop (CDH) 是一个广泛使用的Hadoop发行版，由Cloudera公司维护。CDH基于稳定的Apache Hadoop版本，同时包含了多个补丁，确保其在生产环境中具有高度的稳定性和安全性。它集成了包括Hadoop、Hive、Spark在内的多种大数据服务，使得企业能够更有效地管理和处理大规模数据。 Cloudera Manager是CDH的重要组成部分，是一个强大的集群管理工具，简化了在多台服务器上部署和管理Hadoop生态系统服务的过程。它允许管理员轻松地安装、配置、监控和管理集群中的主机和服务，极大地降低了操作复杂度。 在离线安装Cloudera Manager 5和CDH 5的场景下，通常是因为网络限制或者速度问题，无法通过在线方式完成安装。以下是离线安装的步骤： 1. **获取安装包**：首先，需要从Cloudera的官方网站下载CDH 5.1.3的安装包。对于CentOS 6.5 x64系统，需要的文件包括： - CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel - CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1 - manifest.json 注意，CDH5已经包含了Impala和Cloudera Search（SOLR），因此只需下载一个CDH5的 parcel 文件。 2. **系统环境准备**： - 所有节点的网络配置需正确，确保主机名设置无误。 - 使用root权限进行操作。 3. **配置Yum仓库**： - 创建一个新的yum仓库目录，例如`/etc/yum.repos.d/cloudera-manager.repo`，并添加仓库配置文件。 - 在配置文件中指定Cloudera Manager的Parcel存储位置。 4. **安装Cloudera Manager**： - 将下载的Cloudera Manager安装包传输到服务器的Parcel目录。 - 使用Cloudera Manager的命令行工具`cm-agent`来激活和分发Parcel。 - 安装完成后，启动Cloudera Manager服务器。 5. **安装CDH**： - 在Cloudera Manager界面中，选择要安装的CDH组件和服务。 - 分发和激活Parcel，等待安装完成。 6. **配置和启动服务**： - 配置集群的各个服务，如HDFS、YARN、MapReduce2、Hive、Spark等。 - 启动所有配置的服务，确保它们正常运行。 7. **监控和管理**： - 通过Cloudera Manager的Web界面，可以实时监控集群状态，调整配置，以及进行故障排查。 离线安装的优势在于，即使在没有网络连接或者网络不稳定的情况下，也能顺利完成安装，同时便于后续的更新和维护。在集群扩展或重装时，只需重复上述步骤，无需重新下载大体积的安装包，大大提高了效率。