datax 抽取10个表各两个字段,汇总到一个表里
时间: 2023-07-13 07:30:52 浏览: 202
可以使用DataX的RDBMS Reader和Writer插件,通过配置实现抽取10个表各两个字段,并汇总到一个表中。
以下是一个示例配置文件:
```
{
"job": {
"content": [
{
"reader": {
"name": "rdbmsreader",
"parameter": {
"connection": [
{
"jdbcUrl": "jdbc:mysql://localhost:3306/db",
"table": [
"table1",
"table2",
"table3",
"table4",
"table5",
"table6",
"table7",
"table8",
"table9",
"table10"
],
"username": "user",
"password": "password"
}
],
"column": [
"col1",
"col2"
],
"where": "",
"splitPk": "",
"fetchSize": 1024
}
},
"writer": {
"name": "rdbmswriter",
"parameter": {
"connection": {
"jdbcUrl": "jdbc:mysql://localhost:3306/db",
"table": "merged_table",
"username": "user",
"password": "password"
},
"column": [
"col1",
"col2"
]
}
}
}
],
"setting": {
"speed": {
"channel": 1
}
}
}
}
```
其中,`connection`参数配置了源数据库的连接信息,`table`参数配置了需要抽取的表名,`column`参数配置了需要抽取的字段。
`writer`参数配置了目标数据库的连接信息和需要写入的表名和字段。
这样配置后,DataX就可以将10个表的数据抽取并合并到一个表中。
阅读全文