Yarn上找不到flink提交的任务
时间: 2023-09-09 21:14:36 浏览: 55
如果您在Yarn上运行Flink任务时无法找到已提交的任务,您可以尝试执行以下步骤:
1. 检查Flink任务是否已成功提交。您可以通过在Flink客户端运行命令`flink list`来查看所有正在运行的任务和它们的状态。如果任务没有成功提交,则需要检查Flink任务的日志并解决任何错误。
2. 检查Yarn的日志以查看是否有任何错误消息。您可以通过运行以下命令查看Yarn的日志:
```
yarn logs -applicationId <application_id>
```
其中,`<application_id>`是您提交的Flink任务的应用程序ID。
3. 检查Yarn的资源管理器以查看Flink任务是否正在运行。您可以通过打开Yarn资源管理器的Web界面并查看应用程序列表来检查Flink任务的状态。如果Flink任务已成功提交但未在Yarn资源管理器中显示,则可能是由于网络或配置问题。
如果您遇到任何其他问题,请查阅Flink和Yarn的文档以获取更多信息。
相关问题
flink提交任务到yarn命令
提交Flink任务到YARN的命令如下:
```
./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 examples/streaming/WordCount.jar
```
其中:
- `-m`:指定Flink集群的地址,这里使用yarn-cluster模式。
- `-yn`:指定YARN节点的数量,这里指定2个节点。
- `-yjm`:指定YARN上JobManager的内存大小,这里为1G。
- `-ytm`:指定YARN上TaskManager的内存大小,这里为1G。
- `examples/streaming/WordCount.jar`:指定要提交的Flink任务的jar包路径。
需要注意的是,提交任务前需要先启动YARN集群和Flink集群。同时,需要将Flink的lib目录下的所有jar包上传到YARN的HDFS上,以便在任务运行时能够访问到这些依赖库。
提交到yarn 上的任务如何arthas
Arthas 是一个 Java 诊断工具,可以对 Java 应用进行在线诊断和调试。如果你想要在 Yarn 上运行的任务中使用 Arthas 进行调试,可以按照以下步骤进行:
1. 在你的任务代码中添加 Arthas 依赖,例如:
```
<dependency>
<groupId>com.taobao.arthas</groupId>
<artifactId>arthas-core</artifactId>
<version>3.5.0</version>
</dependency>
```
2. 在任务代码中指定 Arthas 的启动参数,例如:
```
java -jar -Darthas.server.port=8888 your-application.jar
```
这里的 `-Darthas.server.port=8888` 表示指定 Arthas 的服务端口为 8888。
3. 在 Yarn 上提交任务时,将 Arthas 的启动参数也带上,例如:
```
yarn jar your-application.jar -Darthas.server.port=8888 your-application-arguments
```
这样,当任务在 Yarn 上运行时,Arthas 就会启动,并且你可以通过 Arthas 的 Web 控制台或命令行工具对任务进行在线调试和诊断。