datax 抽取pgsql到hbase中rowkeyColumn怎么设置,才能生效
时间: 2024-03-09 19:47:39 浏览: 82
在 DataX 中抽取 PostgreSQL 数据到 HBase 中,如果要使用 PostgreSQL 表的主键作为 HBase 表的 RowKey,需要在 HBaseWriter 的参数中设置 `rowkeyColumn` 参数,并将其值设置为 PostgreSQL 表的主键列名。以下是一个示例配置:
```json
{
"job": {
"content": [
{
"reader": {
"name": "postgresqlreader",
"parameter": {
"connection": [
{
"jdbcUrl": "jdbc:postgresql://localhost:5432/test",
"table": [
"public.user"
],
"username": "test",
"password": "test"
}
],
"column": [
"id",
"name",
"age"
],
"where": "id > 0",
"splitPk": "id",
"fetchSize": 1024
}
},
"writer": {
"name": "hbasewriter",
"parameter": {
"table": "user",
"column": [
{
"name": "info",
"type": "string"
}
],
"rowkeyColumn": "id",
"hbaseConfig": {
"hbase.zookeeper.quorum": "localhost",
"hbase.zookeeper.property.clientPort": "2181"
}
}
}
}
],
"setting": {
"speed": {
"byte": 1048576
}
}
}
}
```
在上面的示例配置中,HBaseWriter 的参数中设置了 `rowkeyColumn` 参数,并将其值设置为 `"id"`,表示使用 PostgreSQL 表的 `id` 列作为 HBase 表的 RowKey。
如果配置正确,当 DataX 执行任务时,会将每一行数据的主键值作为 HBase 表的 RowKey。
阅读全文