"离线安装模式下的CM部署与搭建文档"

需积分: 9 0 下载量 78 浏览量 更新于2024-01-13 收藏 697KB DOCX 举报
CM部署文档是一个详细介绍如何在CentOS 6操作系统上搭建Cloudera Manager(CM)并进行离线安装的指南。此文档还包括了如何搭建Spark Hadoop CHD的步骤。下面是一些重要的说明和步骤: 操作系统和JDK版本要求: 操作系统要求使用CentOS 6,JDK版本要求为1.7.0_80。 所需安装包及版本说明: 需要下载的安装包和相关文件包括: - CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel:CDH版本5.4.0的Cloudera Manager安装包。 - CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha:CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel的哈希值文件。 - cloudera-manager-el6-cm5.4.3_x86_64.tar.gz:Cloudera Manager 5.4.3版本安装包。 - Cloudera Manager下载目录:http://www.cloudera.com/downloads/manager/5-4-3.html - CDH下载目录:http://archive.cloudera.com/cdh5/parcels/5.4.0/ Parcel包放置目录: 将CHD 5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中。 重命名Parcel包哈希值文件: 重命名CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1为CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha。这一步很重要,如果不重命名,系统会重新下载CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel。 CM搭建部署步骤: 以下是在CentOS 6操作系统上搭建CM的步骤: 1. 确保操作系统为CentOS 6,并且已安装JDK版本为1.7.0_80。 2. 下载CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel、CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha、cloudera-manager-el6-cm5.4.3_x86_64.tar.gz等安装包及文件。 3. 将CHD 5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中。 4. 将CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1重命名为CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha。 5. 解压cloudera-manager-el6-cm5.4.3_x86_64.tar.gz安装包,并进入解压后的文件夹。 6. 运行以下命令开始安装CM:sudo ./cm5.4.3.sh 7. 安装过程中,按照提示完成CM的配置。 8. 完成安装后,通过浏览器访问https://<CM主节点IP地址>:7183进行CM的初始化配置。 Spark Hadoop CHD搭建: 以下是Spark Hadoop CHD的搭建步骤: 1. 在CM界面上,点击"Cloudera Manager Admin Console"进入CM的管理控制台。 2. 在管理控制台中,点击"Add Cluster"创建一个新的集群。 3. 根据提示,选择Hadoop分布式文件系统(HDFS)、YARN、Spark等服务,进行配置。 4. 配置完成后,CM会在集群中部署相应的服务和角色。 5. 在"Hosts"选项卡中,检查所有主机是否都已正确加入集群。 6. 在"Parcels"选项卡中,检查Parcel包是否正确下载和分发。 7. 点击"Start"启动集群服务。 8. 在Spark客户端中,通过CM获取连接信息,即可访问Spark集群。 总结: 本文档详细介绍了如何在CentOS 6操作系统上搭建Cloudera Manager(CM)并进行离线安装。同时,还介绍了如何在CM上搭建Spark Hadoop CHD集群。通过按照文档中的步骤执行,可以成功搭建和部署CM和Spark Hadoop CHD,从而为大数据分析提供强大而可靠的基础设施。
2022-08-08 上传