CDH安装教程:YARN, Hadoop, HBase, MapReduce与Zookeeper
需积分: 0 74 浏览量
更新于2024-09-11
收藏 1.19MB DOCX 举报
"CDH安装说明,涉及组件包括YARN、Hadoop、HBase、MapReduce和Zookeeper,图文并茂的教程"
CDH是Cloudera Distribution Including Apache Hadoop的简称,它是一个由Cloudera公司提供的开源大数据平台,包含了多个Apache Hadoop生态系统中的组件,如Hadoop、HBase、YARN、MapReduce、Zookeeper等。本安装说明将指导你如何在集群环境中安装和配置CDH。
首先,你需要在一台主机(例如192.168.0.105)上设置Cloudera Manager的yum源。这涉及到将`a-cdh5.repo`和`a-manager.repo`文件复制到`/etc/yum.repo.d`目录,并根据实际的部署环境调整这两个文件。确保在文件中IP地址与yum源主机一致,并将`gpgcheck`的值设置为0,以跳过GPG签名检查。
接着,安装`createrepo`工具,这将用于创建repo仓库。将包含CDH安装文件的`cdh.tar.gz`包解压缩到`/home/wwwroot`目录,然后将`a-cdh5.repo`和`a-manager.repo`文件复制到集群中所有其他主机的相应目录下。
完成上述步骤后,你需要准备系统光盘,并将其挂载到`/mnt/cdrom`。进入`/iop/cloudera`目录,按照提示进行安装。在安装过程中,遵循提示依次选择"next"和"yes"。
当安装完成,系统会显示相应的提示信息,表明安装成功。你可以通过访问`http://ip:7180`来访问Cloudera Manager的主页,用户名为`admin`,初始密码也为`admin`。
接下来,使用Cloudera Manager来安装和配置各个服务。首先,搜索集群中的主机,并添加Cloudera管理服务。然后,逐一安装HDFS、Zookeeper、HBase、MapReduce、YARN以及Hive。每个服务的安装都需要进行测试连接,确保所有测试都显示"successful",然后继续安装过程。
最后,为了实现高可用性,还需要启用High Availability(HA)。在CDH中,这可能涉及到配置HDFS的NameNode HA,YARN的ResourceManager HA,以及其他服务的冗余设置,以确保集群在任何单点故障时仍能正常运行。
这个安装说明涵盖了CDH的完整部署流程,包括Cloudera Manager的设置、服务的安装以及HA的配置,适用于希望在企业环境中搭建Hadoop生态系统的用户。注意在实际操作中,务必按照步骤仔细操作,并根据实际情况调整配置。
2020-04-18 上传
2024-09-19 上传
2021-05-10 上传
2019-01-13 上传
2017-11-16 上传
2020-04-18 上传
2017-08-14 上传
licunbing
- 粉丝: 2
- 资源: 10
最新资源
- 火炬连体网络在MNIST的2D嵌入实现示例
- Angular插件增强Application Insights JavaScript SDK功能
- 实时三维重建:InfiniTAM的ros驱动应用
- Spring与Mybatis整合的配置与实践
- Vozy前端技术测试深入体验与模板参考
- React应用实现语音转文字功能介绍
- PHPMailer-6.6.4: PHP邮件收发类库的详细介绍
- Felineboard:为猫主人设计的交互式仪表板
- PGRFileManager:功能强大的开源Ajax文件管理器
- Pytest-Html定制测试报告与源代码封装教程
- Angular开发与部署指南:从创建到测试
- BASIC-BINARY-IPC系统:进程间通信的非阻塞接口
- LTK3D: Common Lisp中的基础3D图形实现
- Timer-Counter-Lister:官方源代码及更新发布
- Galaxia REST API:面向地球问题的解决方案
- Node.js模块:随机动物实例教程与源码解析