没有合适的资源?快使用搜索试试~ 我知道了~
首页ClouderaManager平台部署架构与规划
资源详情
资源评论
资源推荐

Cloudera 平台参考部署架构

Cloudera 平台软件体系结构
Cloudera 的软件体系结构中包含了以下模块:系统部署和管理,数据存储,资源管理,处理
引擎,安全,数据管理,工具库以及访问接口。一些关键组件的角色信息:
模块
组件
管理角色
工作角色
系统部署和管理
Cloudera Manager
Cloudera Manager
Server
Cloudera Manager
Agent
Host Monitor
Service Monitor
Reports Manager
Alert Publisher
Event Server
Cloudera Director
数据存储
HDFS
NameNode
DataNode
Secondary NameNode
JournalNode
FailoberController
HBase
HBase Master
RegionServer
资源管理
YARN
ResourceManager
NodeManager
Job HistoryServer

处理引擎
Spark
History Server
Impala
Impala Catalog Server
Impala Daemon
Impala StateStore
Search
Solr Server
安全、数据管理
Sentry
Sentry Server
Cloudera Navigator
Navigator KeyTrustee
Navigator Metadata
Server
Navigator Audit Server
工具库
Hive
Hive Metastore
Hive Server2
硬件配置
集群服务器按照节点承担的任务分为管理节点和工作节点。管理节点上一般部署各组件的管
理角色,工作节点一般部署有各角色的存储、容器或计算角色。根据业务类型不同,集群具体配
置也有所区别:
1. 实时流处理服务集群:Hadoop 实时流处理性能对节点内存和 CPU 有较高要求,基于 Spark
Streaming 的流处理消息吞吐量可随着节点数量增加而线性增长。
管理节点
工作节点
处理器
两路 Intel®至强处理器,可选用 E5-
2630 处理器
两路 Intel®至强处理器,可选用 E5-
2660 处理器
内核数
6 核/CPU(或者可选用 8 核/CPU),
主频 2.3GHz 或以上
6 核/CPU(或者可选用 8 核/CPU), 主
频 2.0GHz 或以上
内存
128GB ECC DDR3
128GB ECC DDR3
硬盘
2 个 2TB 的 SAS 硬盘(3.5 寸),
7200RPM, RAID1
4-12 个 4TB 的 SAS 硬盘(3.5 寸),
7200RPM, 不使用 RAID
网络
至少两个 1GbE 以太网电口,推荐使
用光口提高性能。
可以两个网口链路聚合提供更高带
宽。
至少两个 1GbE 以太网电口,推荐使用
光口提高性能。
可以两个网口链路聚合提供更高带
宽。
硬件尺寸
1U 或 2U
1U 或 2U
接入交换机
48 口千兆交换机,要求全千兆,可堆叠
聚合交换机
(可选)
4 口 SFP+万兆光纤核心交换机,一般用于 50 节点以上大规模集群
剩余10页未读,继续阅读

















安全验证
文档复制为VIP权益,开通VIP直接复制

评论0