Wrong FS: hdfs://192.168.121.131:9000/data, expected: file:///
时间: 2023-07-11 12:58:44 浏览: 131
这个问题看起来是关于文件系统的错误。您提供的路径"hdfs://192.168.121.131:9000/data"是Hadoop分布式文件系统中的一个路径,但是您的程序期望的是"file:///"本地文件系统的路径。
您需要检查您的程序中使用的路径,确保它与您想要使用的文件系统兼容。如果您想要使用Hadoop分布式文件系统,您需要配置您的程序以使用正确的文件系统。如果您想要使用本地文件系统,您需要提供正确的路径。
相关问题
hdfs://192.168.10.111:9000/user/test, expected: file:///
根据提供的引用内容,hdfs://192.168.10.111:9000/user/test的预期路径应该是file:///。这个路径的预期格式是file:///[本地文件系统路径],表示文件存储在本地文件系统中。在Hadoop中,HDFS路径使用hdfs://[HDFS地址]:[HDFS端口]/[文件路径]的格式,而file:///表示本地文件系统。由于给出的路径是以hdfs://开头的,所以预期路径是file:///。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>
ERROR streaming.StreamJob: Error Launching job : Output directory hdfs://192.168.189.131:9000/data/sk20/sk200245/out already exists Streaming Command Failed!
这个错误通常是因为输出路径已经存在而导致的。在Hadoop中,输出路径必须是一个不存在的目录,否则Hadoop将不允许将输出写入该目录。因此,您需要删除现有的输出目录或更改输出路径来解决此问题。
您可以通过以下步骤来解决此问题:
1. 使用Hadoop fs命令删除现有的输出目录,例如:
```
hadoop fs -rm -r hdfs://192.168.189.131:9000/data/sk20/sk200245/out
```
2. 更改输出路径,例如:
```
hadoop jar hadoop-streaming.jar -input input_dir -output output_dir_new -mapper mapper.py -reducer reducer.py -file mapper.py -file reducer.py
```
注意:请确保输出路径是一个不存在的目录。
阅读全文