23/05/24 00:09:42 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead 23/05/24 00:09:42 INFO mapreduce.ExportJobBase: Transferred 0 bytes in 18.613 secon ds (0 bytes/sec) 23/05/24 00:09:42 INFO mapreduce.ExportJobBase: Exported 0 records. 23/05/24 00:09:42 ERROR mapreduce.ExportJobBase: Export job failed! 23/05/24 00:09:42 ERROR tool.ExportTool: Error during export: Export job failed!
时间: 2023-12-06 10:40:15 浏览: 618
这是一个MapReduce作业中的错误日志,其中包含警告和错误。警告是关于群组FileSystemCounters已被弃用,应该使用org.apache.hadoop.mapreduce.FileSystemCounter代替。错误是关于导出作业失败,导致零字节被传输和零记录被导出。需要检查作业的配置和输入数据是否正确,以及Hadoop集群的状态是否正常。同时,可以尝试重新运行该作业并查看是否能够解决问题。
相关问题
023-06-11 16:34:45,697 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead 2023-06-11 16:34:45,697 INFO mapreduce.ExportJobBase: Transferred 0 bytes in 1.8697 seconds (0 bytes/sec) 2023-06-11 16:34:45,698 WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead 2023-06-11 16:34:45,698 INFO mapreduce.ExportJobBase: Exported 0 records. 2023-06-11 16:34:45,699 ERROR tool.ExportTool: Error during export: Export job failed!
这段日志的信息表明在执行一个MapReduce任务时,任务失败了。具体而言,这个任务是一个导出作业(Export Job),它把数据从一个Hadoop集群导出到另一个集群。这个任务在执行时遇到了一些问题,导致它失败了。 另外,这段日志中还包含了一些警告信息,告诉你一些计数器(Counters)已经被弃用了,应该使用新的计数器来代替。
2023-06-11 17:01:33,405 INFO mapreduce.Job: Job job_local1793376280_0001 running in uber mode : false 2023-06-11 17:01:33,408 INFO mapreduce.Job: map 0% reduce 0% 2023-06-11 17:01:33,409 INFO mapreduce.Job: Job job_local1793376280_0001 failed with state FAILED due to: NA 2023-06-11 17:01:33,414 INFO mapreduce.Job: Counters: 0 2023-06-11 17:01:33,422 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead 2023-06-11 17:01:33,423 INFO mapreduce.ExportJobBase: Transferred 0 bytes in 1.8984 seconds (0 bytes/sec) 2023-06-11 17:01:33,425 WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead 2023-06-11 17:01:33,425 INFO mapreduce.ExportJobBase: Exported 0 records. 2023-06-11 17:01:33,426 ERROR tool.ExportTool: Error during export: Export job failed!
这段日志显示了一个 MapReduce 任务的执行情况,该任务执行的是 Sqoop 的数据导出操作。具体的执行过程如下:
1. 首先,日志记录了该任务的运行模式为非 Uber 模式(即不是在 YARN 上运行),并且 Map 和 Reduce 的进度都为 0%。
2. 然后,日志记录了该任务的状态为 FAILED,但是没有指明失败的原因(NA)。
3. 统计计数器的信息被记录在日志中,同时,也出现了一条警告信息,提示 FileSystemCounters 这个计数器已经被废弃,建议使用新的计数器。
4. 接着,日志记录了数据导出的情况,包括传输的字节数和数据记录数。
5. 最后,日志记录了导出操作失败的信息,但没有给出具体的失败原因。
综合来看,这段日志显示了一次 Sqoop 导出操作失败的情况,需要进一步排查失败原因。可以查看更详细的日志或者检查数据源和目标数据库的连接情况。
阅读全文
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20241231044930.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![rar](https://img-home.csdnimg.cn/images/20241231044955.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![zip](https://img-home.csdnimg.cn/images/20241231045053.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)