sqoop数据迁移命令
时间: 2024-06-14 13:02:40 浏览: 112
sqoop使用指南
Sqoop是Apache的一个开源工具,用于在Hadoop和关系型数据库(如MySQL、Oracle等)之间进行数据迁移。它提供了一种简单的方式来执行ETL(提取-转换-加载)任务,支持将结构化的数据从RDBMS迁移到Hadoop的HDFS或创建Hive表,反之亦然。
Sqoop的基本数据迁移命令格式如下:
```bash
sqoop [options] import|export [command options]
```
- `import`命令用于从RDBMS导数据到Hadoop,例如:
```bash
sqoop import --connect "jdbc:mysql://localhost/test" \
--username root \
--password password \
--table my_table \
--target-dir /user/hadoop/data
```
- `export`命令用于将Hadoop的数据导出到RDBMS,例如:
```bash
sqoop export --connect "jdbc:mysql://localhost/test" \
--username root \
--password password \
--table my_table \
--incremental append
```
- `--connect`参数指定数据库连接字符串,
- `--username`和`--password`用于数据库认证,
- `--table`指定要迁移的表名,
- `--target-dir`或`--incremental`用于指定目标目录或增量导出选项。
阅读全文