datax指定用户名写入hdfs
时间: 2024-05-25 21:09:21 浏览: 242
3、通过datax同步oracle相关-oracle到hdfs
DataX是阿里巴巴开源的一个数据同步工具,支持多种数据源之间的同步。在DataX中,指定用户名写入HDFS,需要在配置文件中指定HDFS集群的相关信息,包括用户名、HDFS地址、端口等信息。以下是一个示例配置文件:
```
{
"job": {
"content": [
{
"reader": {
"name": "mysqlreader",
"parameter": {
"username": "root",
"password": "******",
"column": [
"id",
"name"
],
"connection": [
{
"jdbcUrl": [
"jdbc:mysql://localhost:3306/test"
],
"table": [
"person"
]
}
]
}
},
"writer": {
"name": "hdfswriter",
"parameter": {
"defaultFS": "hdfs://localhost:9000",
"fileType": "text",
"path": "/user/hadoop/datax/output",
"fileName": "person.txt",
"column": [
{
"name": "id",
"type": "long"
},
{
"name": "name",
"type": "string"
}
],
"fieldDelimiter": "\t",
"writeMode": "append",
"compress": false
}
}
}
],
"setting": {
"errorLimit": {
"record": 0,
"percentage": 0.02
},
"speed": {
"channel": 1
}
}
}
}
```
在这个配置文件中,需要指定HDFS的地址和端口号,以及默认的用户名(如果没有指定则为系统默认用户名)。
阅读全文