flinkcdc处理schema字段变更
时间: 2023-09-03 17:07:10 浏览: 64
flink-cdc是一种用于实现数据源同步的工具,可以简化CDC过程中所需的工具链。它通过复用debezium的connect和kafka-connect实现直连flink,并且可以通过flink平台适配的各种source sink和SQL client轻松实现数据源的同步。
在处理schema字段变更时,如果使用flink-cdc的SQL方式同步PG数据库,每个表都需要占用一个slot,这对于表比较多的情况可能不合适。因此,开发团队开发了一套通用的PG数据库表同步工具,可以解决这个问题。具体的工具使用方法和细节可以参考相关文档。
总结起来,flink-cdc通过复用debezium的connect和kafka-connect来实现直连flink,可通过flink平台适配的各种source sink和SQL client轻松实现数据源同步。在处理schema字段变更时,可以使用通用的PG数据库表同步工具来解决每个表占用一个slot的问题。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* [flink-cdc 实现MySQL变更捕获](https://blog.csdn.net/weixin_42942484/article/details/122194166)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *3* [FlinkCDC DataStream 同步Postgresql数据库 所有表字段类型通用实现方式](https://blog.csdn.net/lg4546/article/details/128205359)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]