基于cloudera搭建hadoop集群_docker安装hadoop集群

cloudera

hadoop

5星 · 超过95%的资源需积分: 20 199 浏览量更新于2023-06-10 评论 3 收藏 5.94MB DOC 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Hadoop 集群(CDH)的安装及注意事项


 年  月  日
一.  Cloudera Manager............................................................................................................ 2
二.  下载地址......................................................................................................................... 2
三.  安装环境......................................................................................................................... 3
四.  机器设置......................................................................................................................... 3
1.  网络配置........................................................................................................................... 3
2.  修改主机名(hostname)..................................................................................................... 4
3.  关闭 selinux....................................................................................................................... 4
4.  子节点互通配置................................................................................................................ 4
5.  用户 sudo 功能设置.......................................................................................................... 5
6.  挂载硬盘........................................................................................................................... 5
7.  配置 yum 源....................................................................................................................... 6
8.  关闭防火墙....................................................................................................................... 6
9.  配置 ssh 免 key(可以不配置)............................................................................................. 7
10.  配置时间同步.................................................................................................................. 7
11.  设置 hadoop 存储目录.................................................................................................... 7

12.  配置 cm 源文件............................................................................................................... 7
五.  安装................................................................................................................................. 8
1.  安装 cm.............................................................................................................................. 8
2.  安装 cdh........................................................................................................................... 14
六.  卸载............................................................................................................................... 24
七.  参数调整....................................................................................................................... 24
1．  Mapreduce................................................................................................................... 24
2．  Hdfs.............................................................................................................................. 25
3．  Hbase............................................................................................................................ 26
4．  hive............................................................................................................................... 26
5．  Oozie............................................................................................................................ 26
6．  Zookeeper..................................................................................................................... 27
八.  常用命令....................................................................................................................... 27
1.  安全模式......................................................................................................................... 27
2.  查看 block 大小............................................................................................................... 27
3.  fsck................................................................................................................................... 27
4.  禁止 ROOT 远程 SSH 登录............................................................................................... 28
九.  其他............................................................................................................................... 28
1．  修改修改 centos bogon 主机名...................................................................................28
2．  安装 ganglia.................................................................................................................. 28
3．  安装 redis..................................................................................................................... 28
4．  安装 VMware 客户端................................................................................................... 29
5．  60 天使用到期............................................................................................................. 31
十.  遇到的问题.................................................................................................................... 31
1．  缺包.............................................................................................................................. 31
2．  Yum 问题...................................................................................................................... 31
3．  安装 manager 的时候遇到要关闭 selinux...................................................................31
4．  操作系统版本.............................................................................................................. 32
5．  启动 service cloudera-scm-agent start 失败.................................................................32
一
（） 是业内第一家使用图形化界面管理  集群的工具。
使用  可将部署时间从几天缩短到几分钟， 它提供一个集群范围内的、实时的运行节点
及服务视图，它能够用来改变跨集群内的配置。它还包括了报告和诊断工具来观察集群的
性能和利用率。
二下载地址
 !" # 
 !" # 
 !" # 
官网地址
$$$%&

'(