关闭yarn后作业仍然运行

您好！对于关闭 YARN 后作业仍然在运行的情况，可能有以下几种可能性和解决方法：

1. 后台运行：如果您在提交作业时使用了 `&` 或 `nohup` 等命令，作业将在后台运行，而不受 YARN 的影响。您可以使用 `ps` 命令查看后台作业的进程 ID，并使用 `kill` 命令终止它。

2. 作业未完全停止：有时候，即使关闭了 YARN，作业仍然在运行，因为作业可能需要一些时间来完成最后的任务。您可以使用 YARN 的命令行界面或 Web UI 来检查作业的状态，并等待作业完全停止。

3. 资源管理器故障：YARN 的资源管理器可能存在故障，导致作业无法被正确停止。您可以尝试重新启动 YARN 或检查资源管理器的日志以获取更多信息。

4. 作业启动问题：有可能作业在关闭 YARN 前未正确启动，而是在后台继续运行。您可以使用 YARN 的命令行界面或 Web UI 来检查作业的状态，并尝试停止它。

请注意，以上解决方法可能因您的具体环境和情况而有所不同。如果问题仍然存在，建议查阅 YARN 的官方文档或寻求相关技术支持以获取更详细的帮助。

相关问题

Yarn 提交作业流程

YARN (Yet Another Resource Negotiator) 是Hadoop生态系统中的资源管理系统，它负责管理和调度集群中的计算资源。在YARN上提交作业通常包括以下几个步骤：

1. **创建应用程序 masters（ApplicationMaster）**: 当你在YARN客户端（如`yarn-client`）上运行一个MapReduce任务或其他分布式应用时，它首先会启动一个`ApplicationMaster`进程。这个进程代表你的应用程序，并负责管理整个作业。

2. **提交申请（Submit Application）**: 向ResourceManager（RM）提交作业描述文件（例如XML或JSON格式），包含作业的基本信息、资源配置需求等。你可以通过命令行工具或者API来提交。

   $ yarn submit your-application.jar

3. **资源分配（Resource Allocation）**: RM接收到作业提交后，会评估集群资源情况并分配适当数量的Container给`ApplicationMaster`。Container是YARN最小的可执行单元，包含了运行用户程序所需的环境。

4. **`ApplicationMaster`与NodeManager通信**: `ApplicationMaster`与每个NodeManager（NM）建立连接，告诉它们如何在节点上启动和监控Containers。 NM负责实际的容器管理和任务调度。

5. **Container启动与任务执行**: Container在指定的节点上启动，并按照`ApplicationMaster`的指示执行用户的程序或任务。

6. **任务进度更新和监控**: `ApplicationMaster`定期与NM交互获取任务状态更新，直到所有任务完成或者失败。

7. **结果收集与作业结束**: 一旦所有任务完成或遇到错误，`ApplicationMaster`报告最终状态，YARN系统关闭不再需要的资源，作业结束。

flink on yarn 关闭指定id程序的命令

在Apache Flink部署在YARN上时，如果你想关闭一个特定ID的Flink任务，可以使用YARN的资源管理器提供的命令行工具，如`yarn application kill`。但是，由于Flink自身并没有提供直接针对任务ID的API来进行精确控制，通常你会通过Flink的应用ID来操作。以下是关闭Flink YARN应用的通用步骤：

1. **获取应用ID**：首先，你需要知道运行中的Flink作业的YARN应用ID。可以在YARN Web UI或使用命令行工具`yarn apps -list`查看。找到对应于你的Flink作业的任务ID和应用ID。

2. **杀死应用**：使用`yarn application kill [applicationId]`命令，替换 `[applicationId]`为你的Flink应用ID。这将会停止该应用的所有任务实例。

例如，如果你的应用ID是`application_1234567890_123456789`，则命令会是：

yarn application kill application_1234567890_123456789

请注意，这一步可能会中断正在运行的数据处理，所以在此之前最好确认没有正在进行的重要任务。