仍然出错2023-05-29 18:22:37,711 ERROR streaming.StreamJob: Error Launching job : Input path does not exist: hdfs://192.168.189.131:9000/data/sk20/sk200245/testData.txt Streaming Command Failed!
时间: 2024-01-27 21:04:15 浏览: 130
这个错误提示告诉我们输入路径不存在。请检查输入路径是否正确,以及Hadoop用户是否有权访问该路径。
您可以使用以下命令检查输入路径是否存在:
```
hadoop fs -ls /data/sk20/sk200245/testData.txt
```
如果该命令返回一个错误,那么输入路径可能不存在。您可以尝试使用以下命令查找输入路径:
```
hadoop fs -ls /data/sk20/sk200245/
```
如果您找到了输入文件,请检查输入路径是否正确拼写。如果输入路径正确,那么可能是Hadoop用户没有足够的权限来访问输入路径。您可以尝试使用以下命令更改输入路径的权限:
```
hadoop fs -chmod -R 777 /data/sk20/sk200245/testData.txt
```
请注意,这会将输入路径的权限设置为可读可写可执行。如果您希望更加严格地限制权限,请将777更改为适当的权限。
相关问题
在执行hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar \ > -archives mapper.py#mapper.py,reducer.py#reducer.py \ > -mapper mapper.py \ > -reducer reducer.py \ > -input input.txt \ > -output output时报错ERROR streaming.StreamJob: Error Launching job : Input path does not exist: hdfs://hadoop102:8020/user/yinxiyuan/input.txt Streaming Command Failed!怎么解决
这个错误的提示是输入路径不存在,你需要检查以下几点:
1. 确保输入路径 `hdfs://hadoop102:8020/user/yinxiyuan/input.txt` 存在,也就是 `input.txt` 文件已经上传到 HDFS 上。
2. 确保你使用的用户名 `yinxiyuan` 有权限访问 `hdfs://hadoop102:8020/user/yinxiyuan/input.txt` 文件路径。你可以通过执行 `hadoop fs -ls /user/yinxiyuan` 命令来查看该用户是否可以访问该目录。
3. 确保你输入的路径是正确的,你可以尝试使用 `hadoop fs -ls` 命令来查看该路径是否存在。
如果以上三点都没有问题,你可以尝试重新上传 `input.txt` 文件到 HDFS 上,并执行相同的命令。如果还是不行,你可以尝试在输入路径前面加上 `hdfs://`,即 `hdfs://hadoop102:8020/user/yinxiyuan/input.txt`。
阅读全文