spark提交到yarn流程

### 回答1：

答：Spark提交到Yarn的流程主要包括以下几个步骤：1.运行Spark应用程序；2.将Spark应用程序打包成jar或zip文件；3.使用spark-submit命令提交应用程序到Yarn；4.Yarn接收应用程序并将其分配给节点；5.Yarn调度器负责调度应用程序；6.Yarn监控应用程序的执行；7.应用程序结束时，Yarn将结果发送给用户。

### 回答2：
将Spark程序提交到YARN的流程如下：

1. 准备YARN集群：首先需要搭建一个YARN集群，包括至少一个YARN管理节点（ResourceManager）和多个YARN工作节点（NodeManager）。ResourceManager负责整个集群的资源分配和任务调度，NodeManager负责执行具体的计算任务。

2. 准备Spark程序和配置：将要运行的Spark程序编写好，并进行必要的配置。Spark程序可以使用Scala、Java或Python等语言编写，配置文件可以设置Spark应用的相关参数，如内存分配、并行度等。

3. 打包Spark应用程序：将编写好的Spark程序及其依赖库打包成一个可执行的Jar包，以方便在YARN上运行。

4. 提交Spark应用到YARN：使用YARN提供的命令或客户端工具，将打包好的Spark应用程序提交到YARN集群。在提交时，需要指定应用程序的配置信息，如所需的资源、启动脚本、提交人等。

5. YARN任务调度：一旦Spark应用程序被提交到YARN集群，YARN的ResourceManager会对其进行资源分配和任务调度。根据应用程序的需求，ResourceManager会为其分配合适的资源，并确定在哪些节点上启动相应的任务。

6. 启动Spark任务：YARN的NodeManager接收到Spark任务后，负责启动Executor进程。每个Executor进程是一个独立的Java进程，负责执行Spark应用程序的具体计算任务。

7. 执行Spark应用程序：一旦Executor进程启动，Spark应用程序开始在YARN集群上执行。Executor会根据应用程序的逻辑，调度并执行具体的计算任务，包括读取数据、转换处理等操作。

8. 监控和管理：在Spark应用程序执行的过程中，可以通过YARN提供的监控工具来查看任务的运行状态、资源使用情况等。此外，还可以通过YARN的管理命令对任务进行调度、监控和管理。

9. 完成和收集结果：一旦Spark应用程序执行完毕，可以从YARN集群上收集各个任务的输出结果。根据需要，可以将结果存储到HDFS、本地文件系统或其他存储介质中。

以上是将Spark程序提交到YARN的基本流程，通过YARN的资源管理和任务调度，可以有效地管理和利用集群资源，并实现分布式的Spark计算。