Hadoop MapReduce 分布式计算详解

"MapReduce笔记" MapReduce是一种分布式计算框架，主要应用于Hadoop生态系统，用于处理和分析存储在HDFS（Hadoop Distributed File System）中的大量数据。它的核心思想是“分而治之”，即将大数据集分割成多个小数据块，然后在多台机器上并行处理这些小数据块，最后将各个节点的结果进行合并，以获得整体的计算结果。这种方法极大地提升了数据处理的效率，尤其是在大规模数据集上的统计和分析任务。 MapReduce包含三个核心概念： 1. MapTask：这是局部计算任务，每个MapTask负责处理一部分数据。多个MapTask可以并行执行，提高了计算速度。Map阶段通常执行数据的预处理，如过滤、转换等操作。 2. ReduceTask：汇总计算任务，它接收MapTask的结果，进行聚合和汇总操作，如求和、排序、去重等。Reduce阶段将所有节点的局部结果整合成全局结果。 3. Job：一个完整的MapReduce作业，由多个MapTask和至少一个ReduceTask组成。Job由用户编写的MapReduce程序提交到系统，由ResourceManager进行管理和调度。 YARN（Yet Another Resource Negotiator）是Hadoop的第二代资源管理系统，它负责为MapReduce任务分配计算资源（如CPU和内存）。YARN的核心组件包括： 1. ResourceManager：它是YARN集群的主控制器，接收客户端提交的Job任务，并根据资源需求为其分配CPU和内存资源。ResourceManager还负责整个集群的监控和管理。 2. NodeManager：每个节点上的Worker，负责执行实际的MapTask和ReduceTask。NodeManager会根据数据本地性原则处理本节点的HDFS数据，因此它通常与DataNode部署在同一台机器上。NodeManager定期向ResourceManager报告其可用资源状态。 在YARN的伪分布式安装中，首先需要配置好HDFS集群环境，然后在单个节点上模拟多节点集群的运行，以便测试和验证MapReduce程序。这通常涉及配置Hadoop的配置文件（如`core-site.xml`、`hdfs-site.xml`和`yarn-site.xml`），启动HDFS和YARN的相关服务，以及提交MapReduce作业进行测试。 MapReduce通过分布式计算模型和YARN的资源调度，实现了对大规模数据集的有效处理。理解并掌握MapReduce和YARN的工作原理对于进行大数据分析和处理至关重要。