flink cdc实践
时间: 2023-10-31 08:07:24 浏览: 164
Flink CDC MongoDB Connector 的实现原理和使用实践.pdf
Flink CDC是指Apache Flink中的Change Data Capture,用于捕获和处理数据源的变更事件。Flink CDC可以用于实时数据流处理和实时数据分析。在Flink CDC的实践中,可以使用两种模式:DataStream方式和FlinkSQL方式。DataStream方式允许您通过编写代码来处理数据源的变更事件,而FlinkSQL方式允许您使用SQL语句来处理数据源的变更事件。此外,您还可以自定义反序列化器来处理特定的数据格式。
对于SqlServer的CDC,它并不直接消费日志,而是通过SqlServer Capture Process去匹配哪些表开启了CDC,并将这些表的变更数据从日志中提取出来,然后将其插入到Change Table中。最后,通过开启CDC后数据库生成的CDC Query Function可以获取到变更的数据。
阅读全文