flink k8s 面试

Flink在Kubernetes上的部署是一个热门话题，以下是一些可能会在Flink K8s面试中被问到的问题和答案：

1. 什么是Flink K8s Operator？
Flink K8s Operator是一个Kubernetes Operator，它可以自动化地管理Flink集群的生命周期，包括创建、升级和删除Flink集群。

2. 如何在Kubernetes上部署Flink集群？
可以使用Flink K8s Operator或手动部署Flink集群。手动部署需要创建Kubernetes Deployment和Service对象，并将Flink配置文件挂载到Pod中。

3. 如何在Kubernetes上运行Flink作业？
可以使用Flink K8s Operator或手动提交Flink作业。手动提交需要创建Kubernetes Job对象，并将Flink作业JAR文件挂载到Pod中。

相关问题

flink on k8s

＊＊＊s 上的部署方式有两种：Standalone 方式和 Native 方式。

1. Standalone 方式

Standalone 方式是 Flink 在 K8s 上最简单的部署方式，不需要对 Flink 做任何改动，同时 Flink 对 K8s 集群是无感知的，通过外部手段即可让 Flink 运行起来。具体操作可以参考 Standalone Session On K8s。

2. Native 方式

Native 方式是相对于 Flink 而言的，它可以借助 Flink 的命令就可以达到自治的一个状态，不需要引入外部工具就可以通过 Flink 完成任务在 K8s 上的运行。具体操作如下：

- 资源申请方式：Flink 的 Client 内置了一个 K8s Client，可以借助 K8s Client 去创建 JobManager，当 Job 提交之后，如果对资源有需求，JobManager 会向 Flink 自己的 ResourceManager 去申请资源。这个时候 Flink 的 ResourceManager 会直接跟 K8s 的 API Server 通信，将这些请求资源直接下发给 K8s Cluster，告诉它需要多少个 TaskManger，每个 TaskManager 多大。当任务运行完之后，它也会告诉 K8s Cluster 释放没有使用的资源。
- 具体操作：可以使用 Flink 提供的 kubernetes-session.sh 脚本来启动一个 Flink Session Cluster。例如：

./bin/kubernetes-session.sh \
    -Dkubernetes.cluster-id=my-first-flink-cluster \
    -Dkubernetes.container.image=flink:1.11.2 \
    -Dkubernetes.jobmanager.cpu=1 \
    -Dkubernetes.taskmanager.cpu=1 \
    -Dkubernetes.rest-service.exposed.type=NodePort \
    start

以上命令会启动一个名为 my-first-flink-cluster 的 Flink Session Cluster，使用的镜像为 flink:1.11.2，JobManager 和 TaskManager 的 CPU 都为 1，同时将 Flink 的 REST API 暴露在 NodePort 上。

flink native k8s

Apache Flink 是一个分布式的流处理框架，它可以在大规模数据集上进行实时计算和批处理。Flink 支持在 Kubernetes 环境中运行，通过 Kubernetes 提供的强大的容器编排和资源管理功能，可以更好地管理 Flink 集群。

Flink 在 Kubernetes 上运行的方式有两种：Native Kubernetes 和 Session Cluster。

Native Kubernetes 模式是指 Flink 集群在 Kubernetes 上原生运行，每个任务都是一个 Kubernetes Pod，通过 Kubernetes 自动伸缩功能来自动管理应用程序的资源。这种方式需要将 Flink 的资源管理器（ResourceManager）与 Kubernetes 的资源管理器（Kubernetes Scheduler）进行对接，使得 Flink 可以在 Kubernetes 上进行自动部署、自动伸缩和资源管理。

Session Cluster 模式是指使用 Kubernetes 上的一个 Flink job server，通过提交 Flink 作业来运行 Flink 集群。在这种模式下，Flink 作业的执行不受 Kubernetes 的资源管理控制，而是由 Flink job server 进行管理。

无论是哪种模式，在 Kubernetes 上运行 Flink 集群都可以提供更好的弹性、可伸缩性和容错性，同时也可以更好地与 Kubernetes 生态系统中的其他组件进行集成。