flink on yarn如何部署,支持高可用吗
时间: 2024-05-25 21:13:28 浏览: 92
Flink on Yarn 是 Apache Flink 的一种部署方式,可以在 Hadoop Yarn 上运行 Flink 应用程序。部署 Flink on Yarn 的主要步骤如下:
1. 安装 Hadoop 和 Yarn:在部署 Flink on Yarn 之前,需要先安装 Hadoop 和 Yarn。
2. 下载 Flink:从 Flink 官网下载 Flink 二进制文件。
3. 配置 Flink:编辑 Flink 的配置文件 flink-conf.yaml,配置 Flink 的相关参数,如 TaskManager 的数量、内存大小等。
4. 启动 Yarn:在启动 Flink on Yarn 之前,需要先启动 Yarn。
5. 提交 Flink 应用程序:使用 Flink 提供的命令行工具 flink run,提交 Flink 应用程序到 Yarn 上运行。
6. 监控 Flink 应用程序:可以使用 Flink 提供的 WebUI 或者 Yarn 提供的 WebUI 监控 Flink 应用程序的运行状态。
关于高可用性,Flink on Yarn 支持 Flink 的高可用性机制,可以通过配置 Flink 的 HA 参数来实现。在 Flink on Yarn 中,Flink 的 JobManager 运行在 Yarn 的一个容器中,当容器失败时,Yarn 会自动重新启动 JobManager。同时,Flink 也支持将 JobManager 的状态保存到 ZooKeeper 中,以便在 JobManager 失败时能够恢复其状态。因此,Flink on Yarn 支持高可用性。
阅读全文