flink cdc hive
时间: 2023-09-03 08:12:46 浏览: 213
Flink CDC 在京东的探索与实践.pdf
F CDC Hive是指使用Flink CDC Connectors将MySQL或PostgreSQL的数据读取到Flink中,然后将数据写入Hive中的一个表(mysqlcdc_sync_hive01)的过程。具体操作可以通过Flink SQL语句来实现,如示例中的"insert into mysqlcdc_sync_hive01 select id,name,birthday,ts,`partition` from mycdc_v"。
Flink CDC Connectors是Apache Flink提供的一组源连接器,可以直接从MySQL或PostgreSQL中读取全量数据和增量数据作为Flink的数据源。您可以在https://github.com/ververica/flink-cdc-connectors上找到这个开源项目的代码和更多详细信息。
如果您想查看mysqlcdc_sync_hive01_rt表的创建语句,可以在Hive中使用"show create table mysqlcdc_sync_hive01_rt"命令来获取。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *3* [Flink CDC + Hudi + Hive + Presto 构建实时数据湖最佳实践](https://blog.csdn.net/javastart/article/details/131091067)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *2* [Flink SQL篇,SQL实操、Flink Hive、CEP、CDC、GateWay](https://blog.csdn.net/tzs_1041218129/article/details/123725392)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]
阅读全文