SavePoint Savepoint 作为实时任务的全局镜像,其在底层使用的代码和Checkpoint的代码是一样的 Savepoint 是依据 Flink checkpointing 机制所创建的流作业执行状态的一致镜像; Checkpoint 的主要目的是为意外失败的作业提供恢复机制(如 tm/jm 进程挂了)。 Checkpoint 的生命周期由 Flink 管理,即 Flink 创建,管理和删除 Checkpoint - 无需用户交 互。 Savepoint 由用户创建,拥有和删除。 他们的用例是计划的,手动备份和恢复。 Savepoint 应用场景,升级 Flink 版本,调整用户逻辑,改变并行度,以及进行红蓝部署等。 Savepoint 更多地关注可移植性 Savepoint触发方式触发方式目前有三种 使用 flink savepoint 命令触发 Savepoint,其是在程序运行期间触发 savepoint。 使用 flink cancel -s 命令,取消作业时,并触发 Savepoint。 使用 Rest API 触发 Savepoint,格式为:*/jobs/:jobid /savepoints* Savepoint注意点 由于 Savepoint 是程序的全局状态,对于某些状态很大的实时任务,当我们触发 Savepoint,可能会对运行着的实时任务产生影响,个人建议如果对于状态过大的实时任务, 触发 Savepoint 的时间,不要太过频繁。根据状态的大小,适当的设置触发时间。 当我们从 Savepoint 进行恢复时,需要检查这次 Savepoint 目录文件是否可用。可能存在你 上次触发 Savepoint 没有成功,导致 HDFS 目录上面 Savepoint 文件不可用或者缺少数据文 件等,这种情况下,如果在指定损坏的 Savepoint 的状态目录进行状态恢复,任务会启动不 起来。。。。怎么记忆。。。
时间: 2023-06-24 12:08:28 浏览: 172
基于Flink Rest API 二开的Web 控制台,支持作业管理、一键Savepoint及恢复,可视化实时数据同步功能
可以把 Savepoint 理解为 Flink 程序的全局状态镜像,它使用的底层代码和 Checkpoint 是一样的。Checkpoint 主要是为了提供作业意外失败时的恢复机制,而 Savepoint 则更多地关注程序的可移植性,可以用于升级 Flink 版本、调整用户逻辑、改变并行度、进行红蓝部署等场景。Savepoint 的触发方式有三种,可以使用 flink savepoint 命令、flink cancel -s 命令或 Rest API 进行触发。但是需要注意,对于状态较大的实时任务,过于频繁地触发 Savepoint 可能会影响任务的正常运行,建议根据状态大小适当设置触发时间。同时,在从 Savepoint 进行恢复时,需要检查 Savepoint 目录文件是否可用,避免因缺少数据文件等原因导致任务无法启动。
阅读全文