Spark On Yarn执行流程

Spark On Yarn执行流程大致如下：

1. 用户提交Spark应用程序到Yarn集群
2. Yarn ResourceManager接收到应用程序请求后，为该应用程序分配一个ApplicationMaster（AM）。
3. AM向ResourceManager申请资源，包括CPU、内存等，并启动Driver程序。
4. Driver程序向ResourceManager申请Executor资源，并将任务分配给Executor。
5. Executor执行任务，并将结果返回给Driver。
6. Driver将结果返回给用户。

相关问题

spark on yarn 执行流程

1. 将 spark 应用程序提交到 YARN 集群。YARN ResourceManager 接收应用程序请求，并将其转发给 NodeManager。
2. NodeManager 为应用程序启动一个 ApplicationMaster，ApplicationMaster 是负责管理应用程序的主要组件。
3. ApplicationMaster 向 ResourceManager 请求资源，ResourceManager 分配资源并将其返回给 ApplicationMaster。
4. ApplicationMaster 启动 Executor，Executor 是负责执行任务的组件。
5. Executor 从 HDFS 或其他数据源读取数据，并将其分发给应用程序中的任务。
6. 任务执行完毕后，Executor 将结果返回给 ApplicationMaster。
7. ApplicationMaster 将结果汇总并将其返回给应用程序。
8. 应用程序执行完毕后，ApplicationMaster 释放资源并向 ResourceManager 发送释放资源的请求，然后退出。

spark on yarn resource manager在哪里运行，master是什么流程里的叫法

Spark on YARN的资源管理器运行在YARN集群中。YARN（Yet Another Resource Negotiator）是Hadoop生态系统中的资源管理框架，负责为各种应用程序分配和管理集群资源。

在Spark on YARN中，YARN的ResourceManager负责整个集群的资源管理和调度。它接收来自应用程序的资源请求，并决定如何分配集群资源给这些应用程序。ResourceManager还负责监控集群中的节点状态，并在需要时重新分配资源。

至于"master"的叫法，这取决于上下文。在Spark中，"master"通常指的是Spark集群中的主节点或主服务器。它负责接收来自客户端的任务，并将其分发给工作节点进行执行。在Spark on YARN中，YARN的ResourceManager可以被认为是整个集群的"master"，因为它负责整个集群的资源管理和调度。