没有合适的资源?快使用搜索试试~ 我知道了~
首页CLOUDERA-Manager_中文手册(全 高清)+ CDH安装手册
资源详情
资源评论
资源推荐
1
Cloudera Manager
产品介绍
2016 年 3 月 3 日
1. 介绍 ...............................................................................................................................................................1
2. 基本功能 ........................................................................................................................................................1
2.1. 管理功能 ....................................................................................................................................................................2
2.1.1. 集群安装 ..........................................................................................................................................................2
2.1.2. 集群配置 ..........................................................................................................................................................4
2.1.3. 权限管理 ........................................................................................................................................................12
2.2. 监控功能 ..................................................................................................................................................................13
2.2.1. 集群及服务实时监控 ......................................................................................................................................14
2.2.2. 节点级别监控 .................................................................................................................................................17
2.2.3. 自定义报警监控 ..............................................................................................................................................17
2.2.4. 自定义图表 .....................................................................................................................................................18
2.2.5. 页面自定义 .....................................................................................................................................................18
2.2.6. 高可靠监视及报警 ..........................................................................................................................................19
2.2.7. 日志自动清理 .................................................................................................................................................20
2.3. 诊断功能 ..................................................................................................................................................................21
2.3.1. 周期性服务诊断 ..............................................................................................................................................21
2.3.2. 主动集群诊断 .................................................................................................................................................21
2.3.3. 操作提示 ........................................................................................................................................................22
2.3.4. 日志收集及检索 ..............................................................................................................................................22
2.3.5. 系统性能使用报告 ..........................................................................................................................................23
2.4. 集成功能 ..................................................................................................................................................................23
2.4.1. 安全配置 ........................................................................................................................................................23
2.4.2.Cloudera Manager API ...................................................................................................................................24
2.4.3.SNMP 集成 .....................................................................................................................................................27
3. 高级功能 ......................................................................................................................................................27
3.1. 软件滚动升级 ...........................................................................................................................................................27
3.2. 参数版本控制 ...........................................................................................................................................................31
3.2.1. 配置历史查看 .................................................................................................................................................31
3.2.2. 配置版本回滚 .................................................................................................................................................32
3.3. 备份及容灾系统 BDR ...............................................................................................................................................32
3.3.1.HDFS 备份 ......................................................................................................................................................34
3.4. 数据审计 ..................................................................................................................................................................38
3.5. 安全集成向导 ...........................................................................................................................................................39
3.5.1.Kerberos 集成 .................................................................................................................................................39
3.5.2. 外部安全认证集成 ..........................................................................................................................................41
4. 重要管理任务介绍 ........................................................................................................................................42
4.1. 多租户资源管理能力 ................................................................................................................................................42
4.1.1. 资源分配运维监控工具 ...................................................................................................................................42
4.1.2. 动态资源隔离能力(基于 YARN) .................................................................................................................43
4.1.3. 静态资源隔离能力(基于 Linux 容器技术) ...................................................................................................43
5. 监控指标 ......................................................................................................................................................45
5.1. 部分样例状态指标 ...................................................................................................................................................46
5.1.1.HDFS 指标 ......................................................................................................................................................46
5.1.2.MapReduce 指标 ............................................................................................................................................46
5.1.3.HBase 指标 .....................................................................................................................................................47
5.2. 部分样例报警指标 ...................................................................................................................................................47
5.2.1.Hive.................................................................................................................................................................47
5.2.2.HDFS ..............................................................................................................................................................48
5.2.3.MapReduce ....................................................................................................................................................48
5.2.4.HBase .............................................................................................................................................................49
cloudera.com
1
产品介绍
1. 介绍
Cloudera Manager 是 CDH 市场领先的管理平台。作为业界第一的端到端 Apache Hadoop 的管 理 应 用,Cloudera
Manager 对 CDH 的每个部件都提供了细粒度的可视化和控制,从而设立了企业部署的标准。通过 Cloudera Manger,运
维人员得以提高集群的性能,提升服务质量,提高合规性并降低管理成本。
Cloudera Manager 设计的目的是为了使得对于企业数据中心的管
理变得简单和直观。通过 Cloudera Manager,可以方便地部署,
并且集中式的操作完整的大数据软件栈。该应用软件会自动化安
装过程,从而减少了部署集群的时间。通过 Cloudera Manager
可以提供一个集群范围内的节点实时运行状态视图。同时,还提
供了一个中央控制台,可以用于配置集群。不仅如此,Cloudera
Manager 通过包含一系列的报道和诊断工具,可以帮助您优化集
群性能,并且提高利用率。Cloudera Manager 能够为您提供以下
的功能 :
● 自动化 Hadoop 安装过程,大幅缩短部署时间;
● 提供实时的集群概况,例如节点、服务的运行状况;
● 提供了集中的中央控制台对集群的配置进行更改。
● 包含全面的报告和诊断工具,帮助优化性能和利用率。
Cloudera Manager 的架构如上图所示,主要由如下几部分组成:
● 服务端 /Server :Cloudera Manager 的核心。主要用于管理 web server 和应用逻辑。它用于安装软件,配置,开始
和停止服务,以及管理服务运行的集群。
● 代理 /agent :安装在每台主机上。它负责启动和停止的进程,部署配置,触发安装和监控主机。
● 数据库 /Database :存储配置和监控信息。通常可以在一个或多个数据库服务器上运行的多个逻辑数据库。例如,所
述的 Cloudera 管理器服务和监视后台程序使用不同的逻辑数据库。
● Cloudera Repository :用于软件分发由 Cloudera 软件仓库。
● 客户端 /Clients :提供了一个与 Server 交互的接口 :
■ 管理平台 /Admin Console :提供一个管理员管理集群和 Cloudera Manage 的基于网页的交互界面。
■ API :为开发者提供了创造自定义 Cloudera Manager 程序的 API。
2. 基本功能
Cloudera Manager 作为 Hadoop 大数据平台的管理工具,旨在帮助用户更容易的使用 Hadoop。其基本功能主要可以分为
四大模块:管理功能、监控功能、诊断功能和集成功能。
此部分内容在免费版本 Cloudera Express 产品以及商业版本中可用。
Cloudera
Repository
Server
HTTPS
Agent 1
Agent 2
Agent 3
Agent 4
DB
Clients
Admin
Console
API
2
2.1. 管理功能
由于 Hadoop 是一个分布式的系统,由多个服务器组成一个集群,相对于传统的单节点运行的应用系统,由于节点数的增多。
Hadoop 的管理更加复杂。CM 提供的管理功能如下:
2.1.1. 集群安装
2.1.1.1. 自动化安装
Cloudera Manager(以下简称 CM)提供了强大的 Hadoop 集群部署能 力, 能 够批量 的 自动化 部 署节点。 安 装一个
Hadoop 集群大体只需要 3 个步骤。
步骤一:添加需要安装的节点:
步骤二:安装需要的组件
3
产品介绍
步骤三:分配角色
2.1.1.2. 批量部署
Hadoop 本身是一个分布式的系统,因此在安装时,需要对每一个节点进行组件的安装,并且由于是开软软件,其安装过
程相对比较复杂,Hadoop 每个组件都需要做很多的配置工作,如果手动去完成这个工作,工作量将会非常可观。
针对这种情况,CDH 提供了 Cloudera Manager 来自动化安装部署 Hadoop。大大缩短了 Hadoop 的安装时间,同时也简
化了安装 Hadoop 的过程。
CDH 的安装针对不同的客户环境,提供了多种不同的安装方式:
1. 如果用户的集群能够访问到 Cloudera 的网站,直接可以进行完全自动化的安装。
2. 如果用户的集群不能够访问公网,则只需要在集群内部建立一个软件仓库,然后再进行自动化的集群部署
其中上述提到的自动化安装的过 程如下 :
1. 安装环境准备,下载 Cloudera Manager 以及 CDH 的安装文件,安装 JDK,yum 等基本软件。
2. 挑选一台节点,安装 Cloudera Manager,用户只需要启动安装脚本即可,通常情况下 2 分钟就能够完成。
3. Cloudera Manger 是一个 Web 应用,提供了基于浏览器的界面,用户可以通过浏览器可视化的进行 CDH 的安装部署。
4. 通过 Cloudera Manager 界面,添加其他需要安装的节点,选择要安装的 Hadoop 组件,以及每个节点承担的角色,
选择安装,Cloudera Manager 会自动的将需要安装的软件分发到对应的节点,并完成安装。
5. 同时 Cloudera Manager 会提供一个默认的 CDH 配置,并且提供了配置的管理界面,供用户在后续进行定制化的配置。
6. 在安装过程中,如果任意一台机器安装出现问题,Cloudera Manager 都会进行汇报,并提供日志,供用户分析,解决问题。
7. 当所有节点的软件都安装完成之后,Cloudera Manager 会启动所有的服务。
剩余94页未读,继续阅读
mylife512
- 粉丝: 1461
- 资源: 1万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 2022年中国足球球迷营销价值报告.pdf
- 房地产培训 -营销总每天在干嘛.pptx
- 黄色简约实用介绍_汇报PPT模板.pptx
- 嵌入式系统原理及应用:第三章 ARM编程简介_3.pdf
- 多媒体应用系统.pptx
- 黄灰配色简约设计精美大气商务汇报PPT模板.pptx
- 用matlab绘制差分方程Z变换-反变换-zplane-residuez-tf2zp-zp2tf-tf2sos-sos2tf-幅相频谱等等.docx
- 网络营销策略-网络营销团队的建立.docx
- 电子商务示范企业申请报告.doc
- 淡雅灰低面风背景完整框架创业商业计划书PPT模板.pptx
- 计算模型与算法技术:10-Iterative Improvement.ppt
- 计算模型与算法技术:9-Greedy Technique.ppt
- 计算模型与算法技术:6-Transform-and-Conquer.ppt
- 云服务安全风险分析研究.pdf
- 软件工程笔记(完整版).doc
- 电子商务网项目实例规划书.doc
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论7