通过CM部署CDH集群的详细步骤

"CDH部署和配置.pdf" CDH（Cloudera Distribution Including Apache Hadoop）是Cloudera公司提供的一款全面的数据管理平台，它包含了多种Apache Hadoop生态系统组件，如HDFS、MapReduce、YARN、HBase、Hive、Spark等。本教程将详细介绍如何在企业环境中部署和配置CDH。 首先，CDH的部署前提条件是需要先安装Cloudera Manager（CM）。CM是一个强大的管理工具，能够帮助用户轻松地管理和监控CDH集群。如果CM尚未安装，需要参考官方文档进行手工安装。官方文档链接可在描述中找到，地址是：http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_install_path_b.html#concept_jkv_bqy_35。 一旦CM安装完毕，部署CDH的过程就会变得相对简单。接下来的步骤是准备parcels仓库。Parcels是Cloudera提供的预编译软件包，用于在CDH集群中快速分发和管理组件。要创建本地parcels仓库，可以参考Cloudera官方文档：http://www.cmig/topic_21_5。这通常涉及到在服务器上设置HTTP服务，以便CM可以从该服务中下载parcels。 在本案例中，系统环境已准备就绪，只需要在指定服务器（nd06）上开启HTTP服务。然后，你需要从CDH的官方仓库下载对应操作系统的parcel和manifest.json文件，仓库地址为：https://archive.cloudera.com/cdh5/parcels/。将这些文件移动到HTTP服务器目录，并调整文件权限，例如使用如下命令： ``` # 假设httpserver目录为 /var/www/html/parcels mv parcel_file.parcel /var/www/html/parcels/ mv manifest.json /var/www/html/parcels/ chmod 644 /var/www/html/parcels/*.parcels ``` 部署CDH集群时，首先要选择所有可用的主机。在CM界面中，可以通过导航栏或菜单进入配置页面，选择“Parcels”类别。接着，在“Remote Parcel Repositories”部分添加之前创建的parcels仓库URL。然后，你可以开始分发和激活parcels，这会将CDH组件安装到集群中的各个节点上。 配置过程中，需要确保所有必要的依赖和服务都已正确设置，包括网络配置、安全设置（如Kerberos）、存储配置（如HDFS的磁盘布局）以及服务之间的通信。在安装过程中，CM会引导你完成这些配置，并对配置进行验证。 安装完成后，还需要启动和监控CDH服务，确保所有组件正常运行。这可以通过CM的监控界面来实现，它可以提供详细的性能指标、报警设置和故障排查信息。 CDH部署和配置涉及多个步骤，包括CM的安装、创建parcels仓库、分发CDH组件以及配置集群服务。在整个过程中，Cloudera Manager作为强大的管理工具，极大地简化了这个过程，并提供了丰富的自动化和监控功能。