Savepoint 是依据 Flink checkpointing 机制所创建的流作业执行状态的一致镜像; Checkpoint 的主要目的是为意外失败的作业提供恢复机制(如 tm/jm 进程挂了)。 Checkpoint 的生命周期由 Flink 管理,即 Flink 创建,管理和删除 Checkpoint - 无需用户交 互。 Savepoint 由用户创建,拥有和删除。 他们的用例是计划的,手动备份和恢复。 Savepoint 应用场景,升级 Flink 版本,调整用户逻辑,改变并行度,以及进行红蓝部署等。 Savepoint 更多地关注可移植性。。。怎么记。。
时间: 2023-06-25 13:04:56 浏览: 163
可以这样记忆:Checkpoint 是 Flink 内部自动创建的用于恢复故障的状态备份,Savepoint 则是由用户手动创建的用于备份和迁移作业状态的镜像。Checkpoint 生命周期由 Flink 管理,而 Savepoint 由用户掌控。Savepoint 更注重作业的可移植性,适用于版本升级、逻辑调整、并行度变更等场景。
相关问题
SavePoint Savepoint 作为实时任务的全局镜像,其在底层使用的代码和Checkpoint的代码是一样的 Savepoint 是依据 Flink checkpointing 机制所创建的流作业执行状态的一致镜像; Checkpoint 的主要目的是为意外失败的作业提供恢复机制(如 tm/jm 进程挂了)。 Checkpoint 的生命周期由 Flink 管理,即 Flink 创建,管理和删除 Checkpoint - 无需用户交 互。 Savepoint 由用户创建,拥有和删除。 他们的用例是计划的,手动备份和恢复。 Savepoint 应用场景,升级 Flink 版本,调整用户逻辑,改变并行度,以及进行红蓝部署等。 Savepoint 更多地关注可移植性 Savepoint触发方式触发方式目前有三种 使用 flink savepoint 命令触发 Savepoint,其是在程序运行期间触发 savepoint。 使用 flink cancel -s 命令,取消作业时,并触发 Savepoint。 使用 Rest API 触发 Savepoint,格式为:*/jobs/:jobid /savepoints* Savepoint注意点 由于 Savepoint 是程序的全局状态,对于某些状态很大的实时任务,当我们触发 Savepoint,可能会对运行着的实时任务产生影响,个人建议如果对于状态过大的实时任务, 触发 Savepoint 的时间,不要太过频繁。根据状态的大小,适当的设置触发时间。 当我们从 Savepoint 进行恢复时,需要检查这次 Savepoint 目录文件是否可用。可能存在你 上次触发 Savepoint 没有成功,导致 HDFS 目录上面 Savepoint 文件不可用或者缺少数据文 件等,这种情况下,如果在指定损坏的 Savepoint 的状态目录进行状态恢复,任务会启动不 起来。。。。怎么记忆。。。
可以把 Savepoint 理解为 Flink 程序的全局状态镜像,它使用的底层代码和 Checkpoint 是一样的。Checkpoint 主要是为了提供作业意外失败时的恢复机制,而 Savepoint 则更多地关注程序的可移植性,可以用于升级 Flink 版本、调整用户逻辑、改变并行度、进行红蓝部署等场景。Savepoint 的触发方式有三种,可以使用 flink savepoint 命令、flink cancel -s 命令或 Rest API 进行触发。但是需要注意,对于状态较大的实时任务,过于频繁地触发 Savepoint 可能会影响任务的正常运行,建议根据状态大小适当设置触发时间。同时,在从 Savepoint 进行恢复时,需要检查 Savepoint 目录文件是否可用,避免因缺少数据文件等原因导致任务无法启动。
flink savepoint和checkpoint
Flink的savepoint和checkpoint都是用于容错的机制。
Checkpoint是在Flink运行过程中周期性地保存应用程序的状态,以便在发生故障时可以恢复应用程序的状态。Checkpoint可以在本地磁盘或远程存储中保存,以确保数据的安全性和可靠性。
Savepoint是一种手动触发的checkpoint,它可以在应用程序运行时手动创建。Savepoint可以用于在应用程序升级或更改时,保存当前应用程序的状态,以便在升级或更改后可以恢复应用程序的状态。
总之,Flink的savepoint和checkpoint都是非常重要的容错机制,可以确保应用程序的可靠性和稳定性。
阅读全文