Hadoop学习笔记:分布式存储与计算组件详解
Hadoop学习笔记主要涵盖了Hadoop技术的基础概念、核心组件、工作原理、安装配置以及资源管理等内容。以下是详细的解释: 1. **基本思想**: Hadoop是一种开源的大数据处理框架,其核心理念是实现大规模数据集的分布式处理和存储。通过将单个任务或数据切分成多个小部分,分别在集群的不同节点上并行执行,提高计算效率和容错能力。 2. **分布式存储**: Hadoop使用Hadoop Distributed File System (HDFS)来存储数据。HDFS将数据分成固定大小的块,并将这些块复制到集群的不同节点上,通过NameNode(主节点)和DataNode(数据节点)进行管理和访问。这种设计确保了数据的冗余性和高可用性。 3. **Hadoop版本与组件**: 学习笔记提到的是Hadoop 2.7.6版本,该版本包含以下几个关键组件: - **HDFS**:负责数据存储,主要包括NameNode(存储元数据)和DataNode(存储实际数据块)。 - **MapReduce**:分布式计算模型,用于处理大量数据。它由ApplicationMaster(任务调度器)和Worker(Task)组成。 - **YARN**:在Hadoop 1.X版本中,MapReduce与YARN(Yet Another Resource Negotiator)合并,但在2.7.6版本中分离,YARN主要负责资源管理和调度。 4. **资源调度**: 在分布式计算中,YARN负责根据任务需求分配CPU、内存和网络带宽等资源,确保每个任务在合适的节点上运行。Nodemanager是YARN的主要组件,负责监控和管理节点上的容器。 5. **Hadoop安装步骤**: - 首先,确保三台虚拟机具备Java环境,包括设置主机名和IP地址。 - 通过SSH进行验证,确认主机名映射正确,如有问题检查`/etc/hosts`配置。 - 设置SSH免密登录,通过`ssh-keygen`生成公钥并分发到各个节点。 - 将Hadoop压缩包上传至服务器并解压至指定目录,如`/usr/local/soft/`。 6. **文件目录结构**: 安装过程中涉及到了`bin`目录,这是Hadoop工具的可执行文件所在,对于系统管理和操作至关重要。 Hadoop学习笔记强调了分布式存储和计算的核心概念,以及如何在实际环境中搭建和配置Hadoop集群,包括基础架构、资源管理和安装流程。掌握这些知识点有助于理解和应用Hadoop处理大数据。
![](https://csdnimg.cn/release/download_crawler_static/86927576/bgc.jpg)
![](https://csdnimg.cn/release/download_crawler_static/86927576/bgd.jpg)
![](https://csdnimg.cn/release/download_crawler_static/86927576/bge.jpg)
![](https://csdnimg.cn/release/download_crawler_static/86927576/bgf.jpg)
剩余71页未读,继续阅读
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/cd4a17d1c29e4285af54dda021ee0fb9_qq_57683680.jpg!1)
- 粉丝: 2
- 资源: 1
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 中国微型数字传声器:技术革新与市场前景
- 智能安防:基于Hi3515的嵌入式云台控制系统设计
- 手机电量低时辐射真增千倍?解析手机使用谣言
- 56F803型DSP驱动的高精度大功率超声波电源控制策略研究
- ARM与GPRS结合的远程监测系统设计
- GPS与RFID技术结合的智能巡检系统设计
- CPLD驱动的低功耗爆炸场温度测试系统设计
- 基于FPGA的智能驱动控制系统:可扩展设计与工业网络协议
- 基于ATmega128和CH374的嵌入式USB接口设计
- 基于AT89C52的温度补偿超声波测距仪:高精度设计与应用
- MSP430F448单片机在交流数字电压表中的应用
- 提升变频器应用效率的12项实用技巧
- STM32F103在数字电镀电源并联均流系统中的应用
- PSpice仿真下的升压开关电源设计:拓扑分析与CCM稳定性提升
- 轻巧高效:MSP430主导的低成本无线传感器网络节点设计
- FPGA在EDA/PLD中实现LVDS接口的应用解析
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)