flink cdc 数据丢失
时间: 2023-09-02 16:05:57 浏览: 101
flinkcdc採集數據
根据引用和引用的描述,可以看出Flink CDC在处理数据时遇到了数据丢失的问题。具体来说,从程序日志中可以看到CDC的snapshot阶段读取出的数据就少了,而非在写入Hudi之后丢失的。此外,通过对比source表和sink表,可以确定少了两条数据。这个问题可能是由并发引起的,但具体的并发根源尚不清楚。为了解决当前场景的异常,已经提出了一个issue,并期待能够找到更好的解决办法。
综上所述,flink cdc存在数据丢失的问题,可能是由于并发引起的。为了解决当前场景的异常,可以参考提出的issue并期待更好的解决办法。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [【flink 】记一次postgres cdc丢数据](https://blog.csdn.net/czmacd/article/details/126462372)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]
阅读全文