sqoop将mysql中的一张表导入到HDFS
时间: 2023-09-26 15:09:17 浏览: 91
Sqoop将SQLServer数据表导入HDFS
4星 · 用户满意度95%
可以使用以下命令将MySQL中的一张表导入到HDFS:
```
sqoop import \
--connect jdbc:mysql://mysql_host:port/mysql_database \
--username mysql_username \
--password mysql_password \
--table table_name \
--target-dir hdfs://hdfs_host:port/path/to/hdfs/directory \
--delete-target-dir \
--fields-terminated-by ',' \
--lines-terminated-by '\n'
```
其中,需要将以下参数替换为实际的值:
- mysql_host: MySQL数据库所在主机的地址
- port: MySQL数据库的端口号
- mysql_database: MySQL数据库的名称
- mysql_username: MySQL数据库的用户名
- mysql_password: MySQL数据库的密码
- table_name: 要导入的MySQL表的名称
- hdfs_host: HDFS所在主机的地址
- port: HDFS的端口号
- path/to/hdfs/directory: 要导入到HDFS的目录路径
此外,`--delete-target-dir`参数表示在导入数据之前先删除目标目录,`--fields-terminated-by`参数表示字段间的分隔符,`--lines-terminated-by`参数表示行与行之间的分隔符。根据实际情况可以进行调整。
阅读全文