sqoop导入mysql 数据到hdfs
时间: 2023-12-14 10:05:48 浏览: 76
导入指定列-10m光纤收发器原理图
你可以使用Sqoop工具将MySQL中的数据导入到HDFS中。下面是一个简单的示例:
1. 首先,请确保已经安装了Sqoop和MySQL驱动程序。
2. 从MySQL数据库中导出数据并将其存储在HDFS上的“/user/hadoop/data”目录中。
```
sqoop import \
--connect jdbc:mysql://mysql_host:3306/db_name \
--username mysql_username \
--password mysql_password \
--table table_name \
--target-dir /user/hadoop/data \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by '\t'
```
其中,connect参数指定MySQL数据库的连接URL,username和password参数指定用于连接MySQL数据库的用户名和密码,table参数指定要导入数据的表名,target-dir参数指定将数据导入到HDFS中的目标目录,delete-target-dir参数指定在导入数据之前删除目标目录,num-mappers参数指定使用的并行性数量,fields-terminated-by参数指定字段分隔符。
注意:在运行Sqoop命令之前,请确保Hadoop集群处于运行状态。
阅读全文