Savepoint 作为实时任务的全局镜像,其在底层使用的代码和Checkpoint的代码是一样的。。什么意思
时间: 2023-06-24 08:06:53 浏览: 95
基于Flink Rest API 二开的Web 控制台,支持作业管理、一键Savepoint及恢复,可视化实时数据同步功能
Savepoint 和 Checkpoint 在 Spark 中都用于容错处理。它们的作用是将正在运行的任务的状态信息保存下来,以便在任务失败后能够从上一次保存的状态信息处恢复任务执行。
在底层实现上,Spark 使用相同的代码来处理 Savepoint 和 Checkpoint。这是因为它们都需要将当前任务的状态信息保存到外部存储系统(如 HDFS),并在需要时从该系统中读取状态信息。因此,Spark 在底层使用相同的代码来处理这两种类型的容错机制。
需要注意的是,Savepoint 和 Checkpoint 的使用场景略有不同。Savepoint 用于保存全局状态,而 Checkpoint 用于保存局部状态。具体来说,Savepoint 通常用于长时间运行的流式应用程序,而 Checkpoint 则用于短时间运行的批处理作业。
阅读全文