flink on yarn 的session集群 启动一段时间后 再通过sql-client集群提交任务 报错信息为 failed to submit jobgraph
时间: 2024-05-17 14:16:46 浏览: 15
这个问题可能会有多种原因导致,以下是一些可能的解决方案:
1. 检查Flink集群的日志,看看是否有任何错误或异常情况发生。尤其是在启动阶段,Flink集群的日志可能会提供一些有用的信息。
2. 确保SQL客户端和Flink集群版本相同,并且与您的应用程序代码兼容。
3. 检查您的应用程序代码是否符合Flink API的要求,并且能够在Flink集群中正确运行。
4. 确保您的Flink集群和YARN集群配置正确,并且两者之间的通信正常。
5. 尝试重新启动Flink集群和YARN集群,看看是否有任何改善。
6. 如果问题仍然存在,请尝试在Flink集群和YARN集群上运行一些简单的应用程序,以确定问题是否与您的应用程序代码相关。
希望这些解决方案能够帮助您解决问题。如果您需要更具体的帮助,请提供更多的上下文和详细信息,以便我们更好地理解您的问题。
相关问题
flink on yarn 多集群监控
Flink on YARN 支持通过 Flink 的 Web UI 和 YARN 的 ResourceManager 进行监控。
1. Flink Web UI 监控
Flink Web UI 提供了对 Flink 应用程序和任务的监控和管理。在 Flink on YARN 中,Flink Web UI 可以通过以下方式访问:
```
http://<yarn-resourcemanager-host>:<yarn-resourcemanager-port>/proxy/<yarn-application-id>/flink-dashboard/
```
其中:
- `<yarn-resourcemanager-host>` 为 YARN 的 ResourceManager 的主机名或 IP 地址。
- `<yarn-resourcemanager-port>` 为 YARN 的 ResourceManager 的端口号,默认为 8088。
- `<yarn-application-id>` 为 Flink on YARN 应用程序的 Application ID,可以在 YARN 的 ResourceManager Web UI 中找到。
通过 Flink Web UI,您可以查看 Flink 应用程序和任务的状态、指标、日志等信息,还可以对任务进行操作,如取消、重启等。
2. YARN ResourceManager 监控
YARN ResourceManager 也提供了对 Flink on YARN 应用程序的监控和管理。在 YARN ResourceManager 的 Web UI 中,您可以查看 Flink 应用程序的状态、指标、日志等信息。
如果您有多个 Flink on YARN 集群,可以通过给每个集群配置不同的 ResourceManager 端口,来避免端口冲突并实现多集群监控。例如:
- 集群 A:ResourceManager 端口为 8088。
- 集群 B:ResourceManager 端口为 8089。
flink提交任务到yarn报错 org.apache.hadoop.ipc.Client Retrying connect to server: 0.0.0.0/0.0.0.0:8032
这个错误通常是由于 Flink 无法连接到 YARN ResourceManager 导致的。可能的原因包括以下几个方面:
1. 检查 YARN 的配置是否正确。确保 ResourceManager 的地址和端口号正确,并且网络连接无误。
2. 检查 Flink 的配置是否正确。确保 `flink-conf.yaml` 中的 `yarn.application-attempts` 和 `yarn.resourcemanager.address` 配置正确,并且和 YARN 的配置一致。
3. 检查 Flink 和 YARN 版本是否兼容。Flink 的版本和 YARN 的版本需要匹配,否则可能会出现连接错误。
4. 检查是否有防火墙或网络代理等安全机制阻止了 Flink 和 YARN 的通信。可以尝试关闭防火墙或者检查网络代理的配置。
5. 检查 YARN ResourceManager 是否启动成功。可以查看 YARN 的日志文件,确认 ResourceManager 是否启动成功,并且监听的端口是否和配置一致。
如果以上步骤都没有解决问题,可以尝试重启 YARN 和 Flink,或者查看更详细的日志信息,找到问题的具体原因。
相关推荐
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![7z](https://img-home.csdnimg.cn/images/20210720083312.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)