简述YARN的组成及工作过程（MapReduce的工作原理） 简述MapReduce工作流程及优化思想

YARN是Hadoop的一个重要组成部分，它是一个资源管理器，负责管理集群中的资源并为应用程序提供资源。YARN由ResourceManager和NodeManager两个核心组件组成。ResourceManager负责整个集群的资源管理和调度，NodeManager负责单个节点上的资源管理和任务执行。YARN的工作过程如下：首先，客户端向ResourceManager提交应用程序，ResourceManager为该应用程序分配一个ApplicationMaster。然后，ApplicationMaster向ResourceManager请求资源，并将任务分配给NodeManager。NodeManager启动任务并向ApplicationMaster汇报任务状态。当任务完成时，ApplicationMaster向ResourceManager释放资源。

MapReduce是Hadoop的一个分布式计算框架，它的工作流程可以分为Map阶段和Reduce阶段。在Map阶段，Map任务将输入数据切分成若干个小数据块，并将这些小数据块分配给不同的Map任务进行处理。在Reduce阶段，Reduce任务将Map任务输出的结果进行合并和计算，最终得到最终结果。MapReduce的优化思想主要包括以下几点：1. 避免shuffle，如开启map端join；2. 减少shuffle处理数据量，如自定义combiner开启mapper端聚合，但是要注意mapper端聚合不能影响最终结果；3. 优化默认参数配置，如调整环形缓冲区大小、溢出阈值、提高maptask堆内存等。此外，还可以通过调整mapper与reducer的并行度来提高MapReduce的性能。