Hadoop2.7.1伪分布式安装全攻略:环境配置与HDFS Shell
需积分: 45 83 浏览量
更新于2024-08-13
收藏 2.29MB PPT 举报
"本文主要介绍了如何在本地环境中搭建Hadoop的伪分布式环境,包括关键步骤、涉及的配置文件以及Hadoop的主要组件和架构。"
在Hadoop生态系统中,伪分布式模式是一个常用的学习和测试环境,它在一个单一节点上模拟分布式环境,集成了所有Hadoop服务。以下是安装伪分布式流程的详细步骤和相关知识点:
1. **关闭防火墙和禁用SELinux**:这是为了确保节点间的通信不受限制,避免防火墙或安全策略阻止Hadoop服务之间的交互。
2. **设置IP地址**:确保主机有一个清晰的IP地址,以便于集群内的通信。在多节点环境中,每个节点都需要有唯一的网络标识。
3. **配置hosts文件**:在`/etc/hosts`文件中添加主机名和IP地址的映射,这样Hadoop服务在寻找其他组件时可以通过主机名快速定位。
4. **安装JDK**:Hadoop依赖Java运行环境,因此需要先安装JDK。配置好`JAVA_HOME`环境变量,使得Hadoop可以找到Java运行时。
5. **安装Hadoop**:下载Hadoop二进制包,将其解压到指定目录,通常为 `/usr/local/hadoop` 或自定义路径。
6. **配置Hadoop**:配置文件位于 `HADOOP_HOME/etc/hadoop` 目录下,包括:
- **hadoop-env.sh**:设置Hadoop相关环境变量,如`HADOOP_OPTS`用于添加JVM参数,`HADOOP_HOME`指向Hadoop安装目录。
- **core-site.xml**:定义Hadoop的基本配置,如默认的文件系统、命名空间和I/O设置。
- **hdfs-site.xml**:HDFS的相关配置,如副本数量、块大小等。
- **mapred-site.xml**:MapReduce的配置,如JobTracker/ResourceManager地址。
- **yarn-site.xml**:YARN相关的配置,包括ResourceManager和NodeManager的设置。
Hadoop2.x的核心组件包括:
- **Hadoop Common**:提供公共服务,如网络通信、I/O和安全支持。
- **Hadoop Distributed File System (HDFS)**:是一个高度容错性的系统,适合部署在廉价硬件上。NameNode负责元数据管理,DataNode存储实际数据,Secondary NameNode则辅助NameNode进行元数据备份。
- **Hadoop MapReduce**:处理大规模数据的并行计算框架,分为两个阶段:Map阶段和Reduce阶段。
- **Hadoop YARN**:下一代MapReduce框架,分离了资源管理和作业调度,由ResourceManager全局调度资源,NodeManager管理节点资源,ApplicationMaster负责任务调度和监控。
YARN架构中的角色:
- **ResourceManager**:全局资源调度中心,接收客户端请求,管理ApplicationMaster和NodeManager。
- **NodeManager**:每个节点的管理者,执行Container的启动和监控。
- **ApplicationMaster**:应用程序的管理者,负责数据切分、申请资源、任务调度和容错。
- **Container**:执行任务的资源容器,包含CPU、内存等资源和运行环境。
在完成以上步骤后,启动Hadoop服务,使用HDFS Shell命令进行操作,例如`hadoop fs -ls`查看文件系统,`hadoop fs -put`上传文件,`hadoop fs -get`下载文件等。
安装Hadoop伪分布式环境需要仔细配置各个组件,理解其工作原理,这为深入学习和应用Hadoop奠定了基础。
2021-05-22 上传
2019-10-08 上传
2024-03-10 上传
2022-08-03 上传
2019-06-18 上传
点击了解资源详情
点击了解资源详情
点击了解资源详情
点击了解资源详情
永不放弃yes
- 粉丝: 565
- 资源: 2万+
最新资源
- ES管理利器:ES Head工具详解
- Layui前端UI框架压缩包:轻量级的Web界面构建利器
- WPF 字体布局问题解决方法与应用案例
- 响应式网页布局教程:CSS实现全平台适配
- Windows平台Elasticsearch 8.10.2版发布
- ICEY开源小程序:定时显示极限值提醒
- MATLAB条形图绘制指南:从入门到进阶技巧全解析
- WPF实现任务管理器进程分组逻辑教程解析
- C#编程实现显卡硬件信息的获取方法
- 前端世界核心-HTML+CSS+JS团队服务网页模板开发
- 精选SQL面试题大汇总
- Nacos Server 1.2.1在Linux系统的安装包介绍
- 易语言MySQL支持库3.0#0版全新升级与使用指南
- 快乐足球响应式网页模板:前端开发全技能秘籍
- OpenEuler4.19内核发布:国产操作系统的里程碑
- Boyue Zheng的LeetCode Python解答集