logstash 和CDC

logstash是一种用于将数据导入到ElasticSearch索引中建立文档的工具。它可以通过编写简单的索引模板和同步SQL来快速搭建索引同步程序。然而，随着应用数据规模的增大，logstash的一些缺点也开始显露出来，比如不支持删除数据，只能通过软删除字段属性来标记删除；同时，logstash的分页逻辑效率较低，当数据库数据量大时，一个分页查询可能需要几百秒。因此，在一些对搜索速度和同步效率要求较高的场景下，人们会考虑使用基于CDC（Change Data Capture）技术的工具，例如Canal。Canal可以从Canal Server中获取binlog日志，并根据业务需求进行数据处理，比如将数据同步到ElasticSearch索引中。通过使用Canal，可以提高索引同步的效率和准确性，同时解决了logstash的一些不足之处。所以，可以说logstash和CDC技术是两种不同的数据同步方案，各自有自己的适用场景和特点。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *3* [基于CDC技术的ElasticSearch索引同步机制](https://blog.csdn.net/u010485034/article/details/108755427)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
- *2* [logstash-output-mongodb实现Mysql到Mongodb数据同步](https://blog.csdn.net/wojiushiwo987/article/details/65449127)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]