flink的checkpoint的三个文件夹解读

Flink的Checkpoint是一种容错机制，用于在发生故障时恢复应用程序的状态。Checkpoint包括两个部分：元数据和实际状态数据。元数据存储在JobManager中，而状态数据则存储在TaskManager中。当Flink应用程序启用了Checkpoint之后，Flink会将状态数据写入文件系统或分布式存储系统中。在文件系统或存储系统中，Flink会为每个Checkpoint创建三个文件夹，分别是：

1. metadata：该文件夹包含了Checkpoint的元数据信息，例如Checkpoint的ID、Checkpoint所在的任务、Checkpoint的完成时间等。

2. shared：该文件夹包含了Checkpoint的共享状态数据，例如Broadcast State等，这些状态数据是在所有TaskManager之间共享的。

3. taskowned：该文件夹包含了Checkpoint的私有状态数据，例如Operator State等，这些状态数据只在当前TaskManager上可用。

在恢复应用程序时，Flink会读取metadata文件夹中的元数据信息，并从shared和taskowned文件夹中加载状态数据，以恢复应用程序的状态。