mr on yarn 工作原理

MR on YARN（MapReduce on Yet Another Resource Negotiator）是一种在Hadoop生态系统中运行MapReduce作业的方式。它的工作原理如下：

1. 提交作业：用户通过客户端向YARN资源管理器（ResourceManager）提交MapReduce作业。作业包括MapReduce程序的代码和配置信息。

2. 资源分配：ResourceManager接收到作业后，将其分解为多个任务（Task），包括Map任务和Reduce任务。然后，ResourceManager根据集群中可用的资源情况，将这些任务分配给不同的节点（NodeManager）执行。

3. 任务执行：每个节点上的NodeManager接收到任务后，会启动一个容器（Container）来执行该任务。容器是一个隔离的执行环境，其中包含了任务所需的资源和环境。

4. Map阶段：在Map阶段，每个Map任务会读取输入数据，并将其划分为多个键值对。然后，Map任务会将这些键值对按照指定的逻辑进行处理，并生成中间结果。

5. Shuffle阶段：在Shuffle阶段，Map任务的中间结果会被分区、排序和分组，以便传输给Reduce任务进行处理。这个过程涉及到数据的排序和网络传输。

6. Reduce阶段：在Reduce阶段，每个Reduce任务会接收到一组经过Shuffle阶段处理的中间结果。Reduce任务会对这些结果进行合并、计算和输出，生成最终的结果。

7. 完成作业：当所有的Map任务和Reduce任务都完成后，作业会被标记为完成，并将最终的结果输出到指定的位置。