flink cdc同步mysql注意事项
时间: 2023-11-17 19:00:19 浏览: 213
Flink CDC MySQL同步MySQL(一)
在使用Flink CDC同步MySQL时,需要注意以下几点:
1. 需要下载并放置flink-sql-connector-mysql-cdc-2.0.0.jar文件到<FLINK_HOME>/lib/目录下。
2. 在创建MySQL的源表时,需要指定'connector'='mysql-cdc',并且设置相关参数,如'hostname'、'port'、'username'、'password'、'database-name'、'table-name'、'server-id'等。
3. FlinkCDC会根据字段名映射MySQL的源表,字段可以不一一对应。
4. 在使用Flink CDC同步MySQL时,需要确保MySQL的binlog格式为ROW格式。
5. 在使用Flink CDC同步MySQL时,需要确保MySQL的binlog日志开启了binlog_row_image选项。
6. 在使用Flink CDC同步MySQL时,需要确保MySQL的binlog日志开启了binlog_checksum选项。
7. 在使用Flink CDC同步MySQL时,需要确保MySQL的binlog日志开启了binlog_format选项,并且设置为ROW格式。
8. 在使用Flink CDC同步MySQL时,需要确保MySQL的binlog日志开启了binlog_row_metadata选项。
阅读全文