flink on yarn 安装 flink 1.16.2

Apache Flink是一种开源的流处理框架，用于对大规模数据流进行状态计算。YARN（Yet Another Resource Negotiator）是Hadoop的一个子项目，它是一个资源管理系统，可以为各种应用程序（包括Flink）提供集群资源。

要在YARN上安装Flink 1.16.2，请按照以下步骤操作：

1. 下载Flink 1.16.2
首先，您需要从Apache Flink的官方网站下载Flink 1.16.2的二进制发行版。

2. 解压下载的文件
将下载的压缩包解压到您选择的目录中，例如 `/path/to/flink-1.16.2`。

3. 配置环境变量（可选）
为了方便使用，您可以在您的shell配置文件（如 `.bashrc` 或 `.zshrc`）中设置环境变量，以便可以直接调用Flink命令。

4. 配置YARN客户端
编辑Flink的配置文件，通常位于 `conf/flink-conf.yaml`。您需要设置一些基本的配置，如作业管理器的内存大小等。对于YARN集成，您可能需要配置如下：

jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 4
parallelism.default: 4

另外，您需要确保YARN的配置文件（如 `yarn-site.xml`）在 `conf` 目录下，或者您可以通过Flink的命令行选项指定Hadoop配置目录。

5. 部署到YARN
使用Flink的YARN客户端提交作业到YARN集群。您可以使用以下命令格式：

./bin/flink run -m yarn-cluster -yjm <jobmanager-memory> -ytm <taskmanager-memory> -yd <parallelism> <jar-file>

这里的参数分别代表：
- `-m yarn-cluster`：指定运行模式为YARN集群模式。
- `-yjm <jobmanager-memory>`：设置JobManager进程的内存大小。
- `-ytm <taskmanager-memory>`：设置TaskManager进程的内存大小。
- `-yd <parallelism>`：设置作业的默认并行度。
- `<jar-file>`：是您的Flink作业的jar包路径。

如果一切配置正确，Flink将会在YARN上启动并运行您的作业。