"该文档是关于在2019年6月完成的CDH5.16.1在全新CentOS7.3系统上的安装手册,包含配套的安装视频资源。CDH是Apache Hadoop及相关项目的集成发行版,提供Hadoop核心功能、Web界面和企业级特性。该版本使用的数据库是Oracle Database 11g,但也可以替换为MySQL。安装过程中涉及的操作主要在master节点执行,包括系统的准备、NTP服务设置、JDK的安装、主机名与主机名查询静态表的修改、设置主机间免密码登录等步骤。" 在CDH5.16的安装过程中,首先需要进行的是准备工作。这包括确保所有服务器运行的是推荐的CentOS7.3 64位操作系统,设置NTP服务以保持集群内的时间同步,建立可靠的本地YUM源以便离线安装RPM包,以及安装JDK7或JDK8。为了确保一致性,建议删除已有的openjdk并安装指定版本的JDK。 接着,需要对所有主机进行配置。修改每台机器的主机名为便于管理和维护,使用`hostnamectl set-hostname`命令来设定。同时,更新`/etc/hosts`文件,列出所有节点的IP地址和主机名,以避免依赖于IP地址的配置。 在集群中实现免密码登录是可选的,但当节点数量较多时,它能简化在master节点上管理其他slave节点的服务操作。这需要在每个slave节点上编辑`/etc/ssh/sshd_config`文件,启用RSA和公钥认证,然后重启SSH服务。 此外,CDH5.16包含了Hadoop的核心组件,如HDFS、MapReduce和YARN,以及额外的组件如HBase、Hive、Pig和Spark。这些组件的配置和管理可以通过Cloudera Manager,一个基于Web的管理工具来完成,它提供了监控、配置、安全性和更新等功能。 对于数据库的选择,CDH5.16默认使用Oracle Database 11g,但也可以替换为MySQL。这种替换可能涉及到配置文件的更改,如`hadoop-env.sh`和`oozie-env.sh`,以及数据库连接的相关参数设置。 在安装完成后,还需要进行Hadoop集群的初始化和验证,例如格式化NameNode,启动所有服务,并进行基本的功能测试,如数据上传、MapReduce任务执行等。整个过程需要谨慎操作,确保所有步骤正确无误,以保证CDH5.16在生产环境中稳定运行。
![](https://csdnimg.cn/release/download_crawler_static/11260882/bg4.jpg)
剩余16页未读,继续阅读
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/2825a2162fcc471ea435272e6b04f1b0_zhanghuolei.jpg!1)
- 粉丝: 17
- 资源: 24
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 岩石滑动与断层冲击地压:声发射特征分析
- 新时代煤炭工业八大战略新取向剖析
- 开采强度对华亭矿区冲击地压危险性的影响分析
- 新安煤矿探采对比:影响安全生产的关键因素与技术支撑
- 210MW循环流化床锅炉引风机变频改造优化与节能效果
- 浅埋煤层开采沉陷预测:方法应用与影响分析
- 优化巷道过陷落柱支护方案:数值模拟与现场试验
- 坚硬顶板定向断裂爆破技术:安全高效采煤新方案
- 北航2019算法课作业解析:投资策略与凸子多边形优化
- 断层破碎带垮冒下堆积体边界抗力分布关键影响因素
- 哈拉沟选煤厂优化末煤系统提高效率与处理能力
- 瓦斯涌出影响下采动煤体蠕变失稳研究
- 提升煤矿装载效率的可控箕斗定量装载设备设计
- 水分调控下烟煤瓦斯吸附特性对比研究
- 重介质悬浮液密度控制硬件设计与选型探讨
- 坚硬顶板巷道支护参数设计:现场测试与数值分析
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)