flink yarn生产环境部署

在Flink中，可以使用Yarn作为生产环境的部署方式。以下是Flink在Yarn上的生产环境部署步骤：

1. 首先，需要在Yarn上创建一个新的Flink集群来执行任务。每次提交一个job到Yarn集群，Yarn会开辟资源来初始化一个Flink集群。这种内存Job管理模式可以使任务相互独立、互不影响，并且方便管理。

2. 在基本环境搭建阶段，需要克隆出虚拟机并创建hadoop用户。这个步骤是为了创建运行环境和用户权限。

3. 使用source命令让hadoop101和hadoop102上的环境变量生效。这是为了确保环境配置的正确性。

4. 启动ZooKeeper集群。ZooKeeper是一个分布式协调服务，用于协调Flink在Yarn上的部署和任务启动。

通过上述步骤，就可以在Yarn上部署Flink的生产环境。

相关问题

flink yarn模式部署

在Flink中使用YARN模式部署，可以将Flink作业提交到YARN集群上运行。下面是部署步骤：

1. 首先，确保你已经安装并配置好了YARN集群和Flink。

2. 打开Flink的conf/flink-conf.yaml文件，并设置以下属性：

   # 设置执行环境为YARN
   execution.mode: yarn-session
   
   # 设置YARN的Application Master内存
   yarn.application-master.memory: 1024m
   
   # 设置TaskManager的内存
   taskmanager.memory.process.size: 1024m
   
   # 设置TaskManager的数量
   taskmanager.numberOfTaskSlots: 1
   
   # 设置YARN队列名称
   yarn.application-name: my-flink-job
   yarn.application.queue: default
   
   # 设置YARN ResourceManager的地址
   yarn.resourcemanager.address: yarn-cluster
   
   # 设置Flink的默认并行度
   parallelism.default: 1

3. 提交作业到YARN集群上：

   ./bin/flink run -m yarn-cluster -yn 2 -ys 2 -yjm 1024 -ytm 1024 examples/streaming/WordCount.jar`

上述命令将WordCount示例作业提交到YARN集群上，其中`-yn`参数指定了YARN容器的数量，`-ys`参数指定了YARN的slot数量，`-yjm`参数指定了YARN的Application Master内存，`-ytm`参数指定了TaskManager的内存。

4. 监控作业状态：

   ./bin/flink list -m yarn-cluster

可以使用上述命令来查看当前在YARN集群上运行的Flink作业列表和状态。

这样，你就可以在YARN模式下成功部署和运行Flink作业了。请确保你已经根据实际情况修改了相应的配置参数。希望对你有所帮助！

flink yarn安装配置到部署

### Flink on Yarn 安装、配置及部署教程

#### 1. 准备工作
在开始安装之前，需确保已准备好必要的软件包并放置到指定路径。例如，将 `flink-1.14.0-bin-scala_2.12.tgz` 放置于 `/opt/` 下[^2]。

#### 2. 解压与重命名
解压缩下载的 Flink 压缩包，并将其重命名为便于识别的名字，比如 `flink1.14`：

tar -zxvf flink-1.14.0-bin-scala_2.12.tgz -C /opt/
mv /opt/flink-1.14.0 /opt/flink1.14

#### 3. 配置环境变量
为了方便全局调用 Flink，需要修改系统的环境变量文件 `/etc/profile` 并添加如下内容[^3]:

export FLINK_HOME=/opt/flink1.14
export PATH=$FLINK_HOME/bin:$PATH

使更改立即生效：

source /etc/profile

#### 4. 编辑基础配置文件
进入 Flink 的配置目录，编辑核心配置文件 `flink-conf.yaml` 和其他必要文件。以下是常见的配置项：

- **JobManager 堆内存设置**
设置 JobManager 的堆内存大小以满足实际需求[^4]：

  jobmanager.memory.process.size: 1024m

- **TaskManager 参数调整**
根据集群规模定义 TaskManager 的槽数量以及每槽位使用的内存：

  taskmanager.numberOfTaskSlots: 4
  taskmanager.memory.process.size: 4096m

- **YARN 特定参数**
添加支持 YARN 模式的特定选项：

  yarn.application.name: my-flink-app
  parallelism.default: 8

#### 5. 配置 Hadoop 环境
为了让 Flink 正确连接至 YARN 集群，必须指明 Hadoop 的配置目录位置。通过以下方式完成此操作：

vim $FLINK_HOME/conf/flink-env.sh

追加以下行来声明 Hadoop 配置路径：

export HADOOP_CONF_DIR=/opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop

#### 6. 提交作业至 YARN
启动一个会话模式下的 Flink 应用程序实例：

$FLINK_HOME/bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m -s 2

上述命令含义分别为：创建具有 4 个 TaskManagers 的会话[-n]；分配给 JobManager 和每个 TaskManager 各自的内存容量[jm/tm]；同时设定 slot 数目[s]。

查询当前运行中的任务列表可使用以下指令[^1]：

$FLINK_HOME/bin/flink list -t yarn-application -Dyarn.application.id=<your_application_id>

取消某个正在执行的任务则可通过该方法实现：

$FLINK_HOME/bin/flink cancel -m yarn-cluster <jobID>

#### 7. 测试验证
提交测试任务确认整个流程无误后即可正式投入使用。例如运行官方提供的 WordCount 示例程序：

$FLINK_HOME/examples/batch/WordCount.jar --input hdfs:///path/to/input.txt --output hdfs:///path/to/output

---

###