flink的checkpoint的三个文件夹中shared文件夹
时间: 2024-06-05 15:12:00 浏览: 102
Flink笔记(十九):Flink 从 Checkpoint 中恢复数据
Flink 的 Checkpoint 是一种故障恢复机制,它将 Job 的状态信息定期保存在 Checkpoint 目录下的三个文件夹中:
1. metadata 文件夹:保存 Checkpoint 的元数据信息,如 Checkpoint ID、保存时间、状态等。
2. shared 文件夹:保存所有 Task 的共享状态,例如广播变量等。
3. taskowned 文件夹:保存所有 Task 的私有状态,例如算子状态等。
在这三个文件夹中,shared 文件夹是一个比较特殊的文件夹。它保存的是所有 Task 的共享状态,而不是像 taskowned 文件夹那样保存每个 Task 的私有状态。这个文件夹是为了提高 Checkpoint 的效率而设计的,因为共享状态在各个 Task 之间是相同的,如果每个 Task 都保存一份,会造成冗余和浪费。
在 Checkpoint 的恢复过程中,Flink 会先从 shared 文件夹中加载共享状态,然后再从 taskowned 文件夹中加载私有状态,最后重启所有 Task,使它们从 Checkpoint 中恢复状态。
阅读全文