datax 字段血缘 在哪查看
时间: 2023-10-24 13:06:50 浏览: 99
在 DataX 中查看字段血缘可以通过以下步骤进行:
1. 在 DataX 的 job 配置文件中,添加字段血缘配置,示例如下:
```json
{
"job": {
"setting": {
"speed": {
"byte": 1048576
}
},
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"connection": [
{
"jdbcUrl": "jdbc:mysql://localhost:3306/test",
"table": [
"user"
],
"username": "root",
"password": "123456"
}
]
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"connection": [
{
"jdbcUrl": "jdbc:mysql://localhost:3306/test",
"table": [
"user"
],
"username": "root",
"password": "123456"
}
]
}
},
"transformer": {
"name": "fieldsplit",
"parameter": {
"fieldDelimiter": ","
}
}
}
]
},
"fieldBloodRelation": {
"user": [
{
"sourceField": "id",
"derivedFields": [
"user_id"
]
},
{
"sourceField": "name",
"derivedFields": [
"user_name"
]
},
{
"sourceField": "age",
"derivedFields": [
"user_age"
]
}
]
}
}
```
在上述配置中,`fieldBloodRelation` 字段配置了表 `user` 中字段之间的血缘关系。
2. 运行 DataX job,并在日志中查看血缘信息。在 DataX 运行时,会将血缘信息输出到日志中,可以通过查看日志来查看字段血缘。例如,在上述配置中如果运行了名为 `mysql_to_mysql.json` 的 job,则可以通过以下命令查看日志:
```shell
tail -f /path/to/datax/log/mysql_to_mysql.log | grep fieldBloodRelation
```
其中 `/path/to/datax/log/mysql_to_mysql.log` 为对应 job 的日志路径。
阅读全文