简述yarn的基本框架

Yarn（Yet Another Resource Negotiator）是Apache Hadoop项目中的一个资源管理系统，用于管理和调度Apache Hadoop集群中的任务执行。其基本框架主要包括以下几个关键组件：

1. **Node Manager**：每个节点上都有一个Node Manager，负责监控和管理该节点上的资源（如内存、CPU等），并接收从ResourceManager分派的任务。

2. **ResourceManager**：也称为Resource Coordinator，它是整个集群的资源总览点。ResourceManager负责协调任务分配、跟踪任务进度，以及维护集群的资源信息。

3. **Application Master (AM)**：每提交一个应用程序，都会有一个AM进程，它与ResourceManager交互以获取资源，并与Worker节点上的Task Tracker通信来调度和监控具体的任务。

4. **Container**：YARN将计算资源划分为一个个小的、隔离的容器，这些容器是可配置的，可以根据应用程序的需求动态调整大小。

5. **Scheduler**：YARN中的scheduler决定了哪个应用程序或任务何时获得资源。它可以是公平调度器（Fair Scheduler）、容量调度器（Capacity Scheduler）等，以适应不同的需求。

6. **Application Timeline Server**：用于存储应用程序的历史运行信息，提供查询和审计功能。

相关问题

1.简述YARN的基本思想。

YARN（Yet Another Resource Negotiator）是Hadoop2.x中的资源调度框架，其基本思想是将计算与资源管理分离开来，使得资源管理与应用程序的执行可以分别进行优化。YARN将资源管理与任务调度分离开来，将资源管理交由YARN ResourceManager（RM）进行，而将任务调度交由Application Master（AM）完成。在YARN中，RM负责资源的分配与管理，AM负责应用程序的管理，每个应用程序都有一个AM进行管理。这种架构使得YARN可以更好地支持各种类型的应用程序，包括MapReduce、Spark、Storm等。同时，YARN还支持多租户，使得不同的应用程序可以在同一个集群中共享资源，提高了资源的利用率。

简述HADOOP系统框架

Hadoop是一个开源的分布式计算框架，主要用于处理大规模数据处理及分布式存储。它包含了以下几个核心组件：

1. Hadoop Distributed File System（HDFS）：是一种分布式文件系统，可用于存储大规模数据，并通过Hadoop MapReduce进行分布式计算。

2. MapReduce：是一种分布式计算框架，可用于并行处理大规模数据集。MapReduce将计算任务分成Map和Reduce两个阶段，Map阶段将输入数据映射为一系列键值对，Reduce阶段则将Map阶段输出的结果合并为最终结果。

3. Yet Another Resource Negotiator（YARN）：是Hadoop的集群资源管理器，负责分配和管理计算资源，以及协调MapReduce作业和其他计算框架的运行。

4. Hadoop Common：是Hadoop的公共库和工具集，提供了Hadoop集群所需的基础设施和工具支持。

Hadoop系统框架的核心思想是将大规模数据分布式存储和并行计算相结合，通过横向扩展集群规模来提高系统的可靠性和性能，从而实现高效的大规模数据处理和分析。