没有合适的资源?快使用搜索试试~ 我知道了~
首页Cloudera Manager下Hadoop集群角色配置详解
Cloudera Manager下Hadoop集群角色配置详解
需积分: 10 2 下载量 188 浏览量
更新于2024-08-11
收藏 4.59MB DOCX 举报
本文主要介绍了如何在使用Cloudera Manager (CM)管理的Hadoop集群中进行角色划分,目的是确保集群高效、稳定地运行。Hadoop集群的关键角色主要包括管理节点(MasterHosts)、工具节点(UtilityHosts)、边缘节点(EdgeHosts)和工作节点(WorkerHosts)。管理节点负责核心的Hadoop服务进程,如HDFS NameNode和YARN ResourceManager;工具节点用于运行如CM和Hive Metastore这样的辅助服务;边缘节点则是客户端机器,数量根据工作负载调整;工作节点则承载DataNode和其他分布式任务,如ImpalaD。 文章按集群规模划分为不同的场景,包括测试/开发集群(小于10台)、小规模集群(10-20台)、中小规模集群(20-50台)、中等规模集群(50-100台)、大型集群(100-200台)以及超大规模和巨型规模集群(500台以上)。对于测试/开发集群,由于规模较小且不需要高可用性,通常只有一台管理节点和一台工具/边缘节点,剩余机器作为工作节点。然而,随着集群规模的增大,高可用性和负载均衡变得越来越重要,因此会设置多个管理节点,可能还会独立部署特定服务的边缘节点。 在实际操作中,用户可以根据自己的需求和硬件资源灵活调整角色分配,使用CM的安装向导进行定制,或在后期通过CM进行增加和修改。同时,Kafka这种服务通常会单独部署,不包含在上述角色划分中。 给Hadoop集群划分角色是一项关键任务,它直接影响到集群的性能、稳定性和可扩展性。理解并合理配置这些角色是保证Hadoop集群正常运行的基础。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/18934862/bg1.jpg)
如何给 Hadoop 集群划分角色
1.文档编写目的
本文主要介绍由 Cloudera Manager 管理的 CDH 集群的角色划分。实际部署你可能
还需要考虑工作负载的类型和数量,真实要部署的哪些服务,硬件资源,配置,以及其他
因素。当你使用 Cloudera Manager 的安装向导来安装 CDH 时,CM 会根据主机的可用
资源,自动的分配角色到各台主机,边缘节点除外。你可以在向导中使用"自定义角色分配
- Customize Role Assignments"来更改这些默认划分,当然你也可以以后再使用
Cloudera Manager 来增加或修改角色分配。
在介绍角色划分时,我们首先来看看有哪几种主要的角色:
1.管理节点(Master Hosts):主要用于运行 Hadoop 的管理进程,比如 HDFS
的 NameNode,YARN 的 ResourceManager。
2.工具节点(Utility Hosts):主要用于运行非管理进程的其他进程,比如
Cloudera Manager 和 Hive Metastore。
3.边缘节点(Edge Hosts):用于集群中启动作业的客户端机器,边缘节点的数量
取决于工作负载的类型和数量。
4.工作节点(Worker Hosts):主要用于运行 DataNode 以及其他分布式进程,
比如 ImpalaD。
本文会从测试/开发集群(小于 10 台),小规模集群(10-20 台),中小规模集群
(20-50 台),中等规模集群(50-100 台),大型集群(100-200 台),超大规模集群
(200-500 台),巨型规模集群(500 台以上)来分别讲述角色划分。
以下角色划分场景都不包括 Kafka,Kafka 角色我们一般都会采用单独的机器部署。
2.集群角色划分
下载后可阅读完整内容,剩余7页未读,立即下载
![](https://profile-avatar.csdnimg.cn/92008a6ea0154e0b9612e7bdef6761e3_polaris_lzg.jpg!1)
polaris_lzg
- 粉丝: 6
- 资源: 43
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 解决本地连接丢失无法上网的问题
- BIOS报警声音解析:故障原因与解决方法
- 广义均值移动跟踪算法在视频目标跟踪中的应用研究
- C++Builder快捷键大全:高效编程的秘密武器
- 网页制作入门:常用代码详解
- TX2440A开发板网络远程监控系统移植教程:易搭建与通用解决方案
- WebLogic10虚拟内存配置详解与优化技巧
- C#网络编程深度解析:Socket基础与应用
- 掌握Struts1:Java MVC轻量级框架详解
- 20个必备CSS代码段提升Web开发效率
- CSS样式大全:字体、文本、列表样式详解
- Proteus元件库大全:从基础到高级组件
- 74HC08芯片:高速CMOS四输入与门详细资料
- C#获取当前路径的多种方法详解
- 修复MySQL乱码问题:设置字符集为GB2312
- C语言的诞生与演进:从汇编到系统编程的革命
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)