ERROR streaming.StreamJob: Error Launching job : Output directory hdfs://192.168.189.131:9000/data/sk20/sk200245/out already exists Streaming Command Failed!

这个错误通常是因为输出路径已经存在而导致的。在Hadoop中，输出路径必须是一个不存在的目录，否则Hadoop将不允许将输出写入该目录。因此，您需要删除现有的输出目录或更改输出路径来解决此问题。

您可以通过以下步骤来解决此问题：

1. 使用Hadoop fs命令删除现有的输出目录，例如：

hadoop fs -rm -r hdfs://192.168.189.131:9000/data/sk20/sk200245/out

2. 更改输出路径，例如：

hadoop jar hadoop-streaming.jar -input input_dir -output output_dir_new -mapper mapper.py -reducer reducer.py -file mapper.py -file reducer.py

注意：请确保输出路径是一个不存在的目录。

相关问题

仍然出错2023-05-29 18:22:37,711 ERROR streaming.StreamJob: Error Launching job : Input path does not exist: hdfs://192.168.189.131:9000/data/sk20/sk200245/testData.txt Streaming Command Failed!

这个错误提示告诉我们输入路径不存在。请检查输入路径是否正确，以及Hadoop用户是否有权访问该路径。

您可以使用以下命令检查输入路径是否存在：

hadoop fs -ls /data/sk20/sk200245/testData.txt

如果该命令返回一个错误，那么输入路径可能不存在。您可以尝试使用以下命令查找输入路径：

hadoop fs -ls /data/sk20/sk200245/

如果您找到了输入文件，请检查输入路径是否正确拼写。如果输入路径正确，那么可能是Hadoop用户没有足够的权限来访问输入路径。您可以尝试使用以下命令更改输入路径的权限：

hadoop fs -chmod -R 777 /data/sk20/sk200245/testData.txt

请注意，这会将输入路径的权限设置为可读可写可执行。如果您希望更加严格地限制权限，请将777更改为适当的权限。

hadoop jar /usr/local/share/hadoop/hadoop-3.1.1/share/hadoop/tools/lib/hadoop-streaming-3.1.1.jar \ > -input /data/sk20/sk200245/testData.txt \ > -output /data/sk20/sk200245/output \ > -mapper mapTest.py \ > -reducer redTest.py \ > -file /home/sk200245/mapTest.py \ > -file /home/sk200245/redTest.py 运行时出错2023-05-29 18:16:23,282 WARN streaming.StreamJob: -file option is deprecated, please use generic option -files instead. packageJobJar: [/home/sk200245/mapTest.py, /home/sk200245/redTest.py] [] /tmp/streamjob6323488470150726374.jar tmpDir=null 2023-05-29 18:16:24,229 INFO impl.MetricsConfig: loaded properties from hadoop-metrics2.properties 2023-05-29 18:16:24,279 INFO impl.MetricsSystemImpl: Scheduled Metric snapshot period at 10 second(s). 2023-05-29 18:16:24,279 INFO impl.MetricsSystemImpl: JobTracker metrics system started 2023-05-29 18:16:24,291 WARN impl.MetricsSystemImpl: JobTracker metrics system already initialized! 2023-05-29 18:16:24,371 ERROR streaming.StreamJob: Error Launching job : Output directory hdfs://192.168.189.131:9000/data/sk20/sk200245/output already exists Streaming Command Failed!

这个错误提示告诉我们输出目录已经存在，而Hadoop默认情况下不会覆盖现有的输出目录。为了解决此问题，您需要删除现有的输出目录或更改输出路径。

您可以使用以下命令删除现有的输出目录：

hadoop fs -rm -r /data/sk20/sk200245/output

或者，您可以更改输出路径：

hadoop jar /usr/local/share/hadoop/hadoop-3.1.1/share/hadoop/tools/lib/hadoop-streaming-3.1.1.jar \
-input /data/sk20/sk200245/testData.txt \
-output /data/sk20/sk200245/output_new \
-mapper mapTest.py \
-reducer redTest.py \
-files /home/sk200245/mapTest.py,/home/sk200245/redTest.py

请注意，我们使用了`-files`选项代替了`-file`选项，并更改了输出路径。