flinkcdc抽mysql
时间: 2023-09-15 19:20:36 浏览: 185
flinkcdc-mysql自定义反序列化器.pdf
FlinkCDC是Flink的一个功能,用于从MySQL、PostgreSQL等数据库中抽取数据,并将其作为流式数据进行处理。在Flink 1.11版本中,已经实现了mysql-cdc和postgre-CDC,这意味着我们可以直接通过Flink来消费MySQL和PostgreSQL数据库中的数据进行业务处理。
在使用FlinkCDC抽取MySQL数据时,需要首先在SQL客户端中配置相关信息。例如,可以使用类似下面的命令在小松鼠界面中创建一个名为"ums_member"的表,来抽取MySQL中的数据:
CREATE TABLE ums_member (
id BIGINT,
username STRING,
phone STRING,
status int,
create_time timestamp(3),
gender int,
birthday date,
city STRING,
job STRING,
source_type INT,
PRIMARY KEY(id) NOT ENFORCED
) WITH (
'connector' = 'mysql-cdc',
'hostname' = 'hadoop10',
'port' = '3306',
'username' = 'root',
'password' = '0000',
'database-name' = 'db1',
'table-name' = 'ums_member'
);
通过以上配置,FlinkCDC将会连接到MySQL数据库的"db1"数据库中的"ums_member"表,并将表中的数据作为流式数据进行处理。你可以在Flink SQL客户端中使用类似"SELECT * FROM ums_member;"的命令来查询和操作这个数据流。
阅读全文