安装sqoop时INFO mapreduce.ImportJobBase: Transferred 0 bytes in 2.117 seconds (0 bytes/sec) 2023-06-07 14:42:05,271 INFO mapreduce.ImportJobBase: Retrieved 3 records. 2023-06-07 14:42:05,271 ERROR tool.ImportTool: Error during import: Import job failed!
时间: 2024-04-15 18:03:49 浏览: 35
这个错误信息非常简洁,无法直接判断具体错误原因。但是根据错误信息可以判断是导入数据时出错了,可能是以下原因之一:
1. 数据库连接失败,导致无法获取数据。
2. 数据库中没有数据符合导入条件。
3. 导入数据时出现了其他错误,例如权限问题或者数据格式不正确等。
您可以查看 sqoop 的日志文件,查找更详细的错误信息。另外,您可以尝试重新连接数据库,检查数据是否符合导入条件,或者使用其他工具导入数据。
相关问题
2023-06-11 17:01:33,405 INFO mapreduce.Job: Job job_local1793376280_0001 running in uber mode : false 2023-06-11 17:01:33,408 INFO mapreduce.Job: map 0% reduce 0% 2023-06-11 17:01:33,409 INFO mapreduce.Job: Job job_local1793376280_0001 failed with state FAILED due to: NA 2023-06-11 17:01:33,414 INFO mapreduce.Job: Counters: 0 2023-06-11 17:01:33,422 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead 2023-06-11 17:01:33,423 INFO mapreduce.ExportJobBase: Transferred 0 bytes in 1.8984 seconds (0 bytes/sec) 2023-06-11 17:01:33,425 WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead 2023-06-11 17:01:33,425 INFO mapreduce.ExportJobBase: Exported 0 records. 2023-06-11 17:01:33,426 ERROR tool.ExportTool: Error during export: Export job failed!
这段日志显示了一个 MapReduce 任务的执行情况,该任务执行的是 Sqoop 的数据导出操作。具体的执行过程如下:
1. 首先,日志记录了该任务的运行模式为非 Uber 模式(即不是在 YARN 上运行),并且 Map 和 Reduce 的进度都为 0%。
2. 然后,日志记录了该任务的状态为 FAILED,但是没有指明失败的原因(NA)。
3. 统计计数器的信息被记录在日志中,同时,也出现了一条警告信息,提示 FileSystemCounters 这个计数器已经被废弃,建议使用新的计数器。
4. 接着,日志记录了数据导出的情况,包括传输的字节数和数据记录数。
5. 最后,日志记录了导出操作失败的信息,但没有给出具体的失败原因。
综合来看,这段日志显示了一次 Sqoop 导出操作失败的情况,需要进一步排查失败原因。可以查看更详细的日志或者检查数据源和目标数据库的连接情况。
2023-06-10 06:10:14,356 INFO mapreduce.Job: Job job_1686300831839_0056 failed with state FAILED due to: Task failed task_1686300831839_0056_m_000001 Job failed as tasks failed. failedMaps:1 failedReduces:0 killedMaps:0 killedReduces: 0 2023-06-10 06:10:14,536 INFO mapreduce.Job: Counters: 9 Job Counters Failed map tasks=1 Killed map tasks=3 Launched map tasks=4 Data-local map tasks=4 Total time spent by all maps in occupied slots (ms)=20374 Total time spent by all reduces in occupied slots (ms)=0 Total time spent by all map tasks (ms)=20374 Total vcore-milliseconds taken by all map tasks=20374 Total megabyte-milliseconds taken by all map tasks=20862976 2023-06-10 06:10:14,561 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead 2023-06-10 06:10:14,566 INFO mapreduce.ExportJobBase: Transferred 0 bytes in 19.7479 seconds (0 bytes/sec) 2023-06-10 06:10:14,582 WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead 2023-06-10 06:10:14,582 INFO mapreduce.ExportJobBase: Exported 0 records. 2023-06-10 06:10:14,582 ERROR mapreduce.ExportJobBase: Export job failed! 2023-06-10 06:10:14,585 ERROR tool.ExportTool: Error during export: Export job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:445) at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931) at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:80) at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:99) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243) at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
这段日志是一个Sqoop工具导出数据时发生的错误信息。其中,导出作业“job_1686300831839_0056”失败,原因是其中一个任务“task_1686300831839_0056_m_000001”执行失败。在计数器方面,总共有9个计数器被记录,其中有1个map任务失败,3个map任务被杀死,4个map任务被启动,所有的map任务都在本地数据块上执行,总共的map任务耗时20秒,共消耗了20374个vcore毫秒和20862976个MB毫秒的资源。此外,还有两个计数器组被警告信息所提醒,分别是“FileSystemCounters”和“org.apache.hadoop.mapred.Task$Counter”,它们都已经被弃用,建议使用“org.apache.hadoop.mapreduce.FileSystemCounter”和“org.apache.hadoop.mapreduce.TaskCounter”代替。在导出数据时,共传输了0字节的数据,在19.75秒内完成,导出了0条记录。最后,导出作业失败,导致导出工具“ExportTool”抛出了异常。