flink检查点设置
时间: 2024-01-09 22:22:55 浏览: 91
在Flink中,可以通过配置来设置检查点的行为和存储位置。以下是设置Flink检查点的步骤:
1. 配置检查点的行为:
- 如果希望在取消作业时保留检查点,可以将`ExternalizedCheckpointCleanup`设置为`RETAIN_ON_CANCELLATION`。这意味着在正常取消作业时,检查点将被保留下来,并且在重新启动作业时可以使用。
- 如果希望在取消作业时删除检查点,可以将`ExternalizedCheckpointCleanup`设置为`DELETE_ON_CANCELLATION`。这意味着在取消作业时,检查点将被删除,但如果任务失败,可以从检查点恢复任务。
2. 配置检查点的存储位置:
- 默认情况下,检查点是保存在JobManager(JM)的内存中的。如果任务取消或失败,检查点将丢失。为了将检查点保存在外部分布式文件系统中,需要进行以下配置:
- 在Flink的配置文件`flink-conf.yaml`中,设置`state.checkpoints.dir`属性为外部文件系统的路径。例如:`state.checkpoints.dir: hdfs://localhost:9000/flink-checkpoints`
- 在启动Flink应用程序时,可以通过`-s`选项指定检查点的元数据路径。例如:`bin/flink run -s hdfs://localhost:9000/flink-checkpoints`
请注意,为了实现容灾,仅将检查点保存在外部系统中是不够的。还需要确保Flink处理的数据源是可重放的,例如消息队列和各种文件系统。
阅读全文