delete-target-dir --num-mappers 1 --hive-import --hive-database news --hive-table news 23/06/08 11:25:52 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7 23/06/08 11:25:53 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead. 23/06/08 11:25:53 ERROR tool.BaseSqoopTool: Error parsing arguments for import: 23/06/08 11:25:53 ERROR tool.BaseSqoopTool: Unrecognized argument: –table 23/06/08 11:25:53 ERROR tool.BaseSqoopTool: Unrecognized argument: news 23/06/08 11:25:53 ERROR tool.BaseSqoopTool: Unrecognized argument: --fields-terminated-by 23/06/08 11:25:53 ERROR tool.BaseSqoopTool: Unrecognized argument: ; 23/06/08 11:25:53 ERROR tool.BaseSqoopTool: Unrecognized argument: --delete-target-dir 23/06/08 11:25:53 ERROR tool.BaseSqoopTool: Unrecognized argument: --num-mappers 23/06/08 11:25:53 ERROR tool.BaseSqoopTool: Unrecognized argument: 1 23/06/08 11:25:53 ERROR tool.BaseSqoopTool: Unrecognized argument: --hive-import 23/06/08 11:25:53 ERROR tool.BaseSqoopTool: Unrecognized argument: --hive-database 23/06/08 11:25:53 ERROR tool.BaseSqoopTool: Unrecognized argument: news 23/06/08 11:25:53 ERROR tool.BaseSqoopTool: Unrecognized argument: --hive-table 23/06/08 11:25:53 ERROR tool.BaseSqoopTool: Unrecognized argument: news
时间: 2024-02-01 22:03:26 浏览: 102
这个错误提示显示Sqoop无法解析您提供的导入参数。具体来说,Sqoop无法识别“-table”,“-fields-terminated-by”,“-delete-target-dir”,“-num-mappers”,“-hive-import”,“-hive-database”和“-hive-table”这些参数。
请检查您的命令语法是否正确,并确保使用正确的参数名称和格式。根据错误提示,您可能需要:
1. 将“-”字符改为正确的“-”字符,因为错误提示中显示的字符可能是不正确的。
2. 在每个参数名称前添加两个“-”字符,以便Sqoop可以正确识别参数。
3. 确保使用正确的参数名称和格式。例如,“-table”应该是“--table”,“-fields-terminated-by”应该是“--fields-terminated-by”。
例如,如果您要导入一个名为“news”的表格,并将字段分隔符设置为分号“;”,可以使用以下命令:
```
sqoop import --delete-target-dir --num-mappers 1 --hive-import --hive-database news --hive-table news --fields-terminated-by ';'
```
请注意,这只是一个示例命令,具体的命令语法和参数可能因您的具体情况而有所不同。如果您不确定如何操作,请咨询有经验的管理员或参考相关文档。
相关问题
sqoop import-all-tables 参数怎么用
`sqoop import-all-tables` 命令用于将关系型数据库中的所有表导入到Hadoop中,可以使用以下参数:
- `--connect`:指定JDBC连接字符串,必须提供;
- `--username`:指定连接数据库所需的用户名,可选;
- `--password`:指定连接数据库所需的密码,可选;
- `--warehouse-dir`:指定Hadoop中存储所有表的根目录,必须提供;
- `--as-parquetfile`:指定是否将数据存储为 Parquet 格式,默认为 false,可选;
- `--num-mappers`:指定 Sqoop 作业使用的 mapper 数量,默认为 4,可选。
例如,以下命令将所有表从MySQL数据库导入到Hadoop的 `/user/hive/warehouse` 目录下,并将数据存储为 Parquet 格式:
```
sqoop import-all-tables \
--connect jdbc:mysql://localhost/mydatabase \
--username myuser \
--password mypassword \
--warehouse-dir /user/hive/warehouse \
--as-parquetfile \
--num-mappers 8
```
请根据您的实际情况调整命令中的参数。
我在hive中已经创建了一张叫ods_realtime_traffic_flow的表,表格式时parquet格式,帮我检查一下下面的sqoop语句是否有问题:~/opt/module/sqoop/bin/sqoop import \ --connect jdbc:mysql://hadoop102:3306/project \ --username root \ --password 'zw520618.' \ --table 'ods_realtime_traffic_flow' \ --columns link_ID,time_interval,travel_time \ --where "date='2017-07-31'" \ --hive-import \ --hive-overwrite \ --hive-database project \ --hive-table 'ods_realtime_traffic_flow' \ --hive-partition-key '`date`' \ --hive-partition-value "2017-07-31" \ --as-parquetfile \ --split-by link_ID \ --num-mappers 1
这个sqoop语句看起来没有明显的语法错误,但是有一些需要注意的地方:
1. 如果在hive中已经存在了名为ods_realtime_traffic_flow的表,那么使用--hive-import将会导致数据导入失败,因为表已经存在。可以使用--append或--hive-overwrite选项来避免这个问题。
2. 使用--num-mappers 1将只会使用一个mapper来导入数据,这可能会导致性能瓶颈。可以根据数据量和集群资源来调整这个值。
3. 在--where子句中使用了date='2017-07-31'来筛选数据,这个date字段是否存在需要查看ods_realtime_traffic_flow表的结构。
4. 如果没有在hive中提前创建project数据库,那么需要在命令行中使用CREATE DATABASE project来创建数据库。
5. 如果在ods_realtime_traffic_flow表的结构中已经包含了date字段,那么不需要使用--hive-partition-key和--hive-partition-value选项。否则,需要根据实际的分区键和值来调整这两个选项。
6. 使用--as-parquetfile选项将数据导入为parquet格式,但在hive中需要先创建好对应的表结构,包括字段类型、分区等信息。
综上,这个sqoop语句需要根据实际情况来调整,以确保数据能够正确地导入到hive中。