"CDH-5.13.1安装文档" 在本文档中,我们将详细介绍如何在CentOS 6.5环境下离线安装CDH 5.13.1。CDH (Cloudera Distribution Including Apache Hadoop) 是Cloudera公司提供的一个企业级Hadoop发行版,包含了多个大数据处理组件,如HDFS、MapReduce、YARN、HBase等。此安装过程适用于那些没有互联网连接或者希望在隔离环境中部署CDH的用户。 首先,确保你的系统满足以下前提条件: 1. 操作系统:CentOS 6.5 2. JDK版本:1.8 在开始安装之前,你需要下载以下软件包: 1. CDH-5.13.1-1.cdh5.13.1.p0.2-el6.parcel 和其SHA校验文件 2. manifest.json 3. cloudera-manager-el6-cm5.13.1_x86_64.tar.gz Cloudera Manager可以从以下地址下载: http://archive.cloudera.com/cm5/cm/5/ CDH组件可以从这个地址获取: http://archive.cloudera.com/cdh5/parcels 所有CDH相关的Parcel包应放在主节点的 `/opt/cloudera/parcel-repo/` 目录下,并且注意,文件 `CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1` 需要重命名为 `CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha`,这是为了防止Cloudera Manager尝试在线下载该文件。 在开始安装前,还需完成一些系统环境的准备工作: 1. **网络配置**:所有节点需要正确配置网络,确保它们之间可以互相通信。 2. **SSH免密码登录**:设置所有节点之间的SSH免密登录,便于后续的自动化部署。 3. **关闭防火墙**:为了简化安装,建议关闭防火墙,或者至少打开必要的端口。 4. **关闭SELINUX**:SELinux的安全策略可能会阻止某些服务运行,所以通常在安装时将其设为禁用或宽松模式。 5. **安装JDK**:安装Java 1.8,因为CDH需要Java环境才能运行。 6. **设置NTP**:同步所有节点的时间,确保集群内的时钟一致。 7. **安装配置MySQL**:作为Cloudera Manager的数据库,用于存储配置和监控数据。 接下来是安装步骤: 1. **安装Cloudera Manager Server & Agent**:在主节点上解压Cloudera Manager安装包,并按照文档指示进行安装。 2. **创建用户cloudera-scm**:在所有节点上创建用户,用于Cloudera Manager服务。 3. **配置CMAgent**:在每个节点上配置Cloudera Manager Agent,使其指向Cloudera Manager Server。 4. **配置CMServer的数据库**:根据文档指示连接到MySQL并创建Cloudera Manager所需的数据库。 5. **创建Parcel目录**:在Cloudera Manager Server上创建Parcel目录,用于存放下载的CDH Parcel包。 6. **启动CMManager & Agent服务**:启动Cloudera Manager Server和Agent服务,开始管理界面。 最后,你可以通过Cloudera Manager界面进行CDH 5的安装,监控安装进度,并进行后续的集群配置。 请注意,每个节点的内存配置应该足够,以避免在安装过程中因资源不足导致失败。文中提到,服务节点至少需要8GB内存,而其他节点至少需要2GB。 此外,文档还提供了MySQL数据库的创建和删除脚本,以便于管理和维护Cloudera Manager的数据库。 这个文档提供了一个详尽的离线安装CDH 5.13.1的指南,对于那些希望在离线环境中部署Hadoop集群的用户非常有用。遵循这些步骤,你应该能够成功地在你的CentOS 6.5系统上建立一个完整的CDH集群。
![](https://csdnimg.cn/release/download_crawler_static/10642026/bg5.jpg)
剩余23页未读,继续阅读
![sha1](https://img-home.csdnimg.cn/images/20210720083646.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/95430c906d2a48e68eae7881a4d2861f_android_xue.jpg!1)
- 粉丝: 2w+
- 资源: 7
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 岩石滑动与断层冲击地压:声发射特征分析
- 新时代煤炭工业八大战略新取向剖析
- 开采强度对华亭矿区冲击地压危险性的影响分析
- 新安煤矿探采对比:影响安全生产的关键因素与技术支撑
- 210MW循环流化床锅炉引风机变频改造优化与节能效果
- 浅埋煤层开采沉陷预测:方法应用与影响分析
- 优化巷道过陷落柱支护方案:数值模拟与现场试验
- 坚硬顶板定向断裂爆破技术:安全高效采煤新方案
- 北航2019算法课作业解析:投资策略与凸子多边形优化
- 断层破碎带垮冒下堆积体边界抗力分布关键影响因素
- 哈拉沟选煤厂优化末煤系统提高效率与处理能力
- 瓦斯涌出影响下采动煤体蠕变失稳研究
- 提升煤矿装载效率的可控箕斗定量装载设备设计
- 水分调控下烟煤瓦斯吸附特性对比研究
- 重介质悬浮液密度控制硬件设计与选型探讨
- 坚硬顶板巷道支护参数设计:现场测试与数值分析
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)