Flink集群搭建与部署OnYarn模式代码

Flink的OnYARN部署模式允许将Flink作业运行在Apache YARN之上，这是一种资源管理和调度平台。以下是基本的步骤：

1. **安装依赖**：首先，你需要确保已经安装了Hadoop YARN、HDFS和相关的YARN客户端库。

2. **配置环境变量**：在Flink安装目录下找到`conf`文件夹，编辑`yarn-site.xml`，配置YARN的相关属性，如ResourceManager地址等。

3. **创建YARN应用程序包**：使用`flink run -m yarn-cluster <jar_name> --class <main_class> --deploy-mode cluster`命令，这里 `<jar_name>`是打包好的Flink应用JAR，`<main_class>`是你程序中的主类。

4. **打包并提交到YARN**：

   hadoop jar <flink_yarn_jar_path> org.apache.flink.yarn.YarnSessionDriver \
     -D flink.submit.property.shuffle-service.enabled=true \
     -D flink.application.id=<your_app_id> \
     -j <your_job_jar> \
     -- <job_args>

这里，`<flink_yarn_jar_path>`是Flink的YARN客户端JAR，`<your_app_id>`是自定义的应用ID，`<job_args>`是你的作业参数。

5. **监控任务**：可以在YARN Web UI上查看Flink任务的状态和日志。