在执行hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar \ -files mapper.py \ -mapper mapper.py \ -files reducer.py \ -reducer reducer.py \ -input input.txt \ -output output时报错ERROR streaming.StreamJob: Unrecognized option: -files
时间: 2024-03-14 08:43:10 浏览: 24
如果你使用的 Hadoop 版本是 2.6.0 或以上的版本,那么 `-files` 选项已经被弃用了,改为使用 `-archives` 选项。
所以你可以将命令中的 `-files` 替换为 `-archives`,例如:
```
hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar \
-archives mapper.py#mapper.py,reducer.py#reducer.py \
-mapper mapper.py \
-reducer reducer.py \
-input input.txt \
-output output
```
这样就可以避免这个错误了。
相关问题
在执行hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar -archives mapper.py#mapper.py,reducer.py#reducer.py -mapper mapper.py -reducer reducer.py -input input.txt -output output时报错java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1怎么解决
这个错误提示表明在执行hadoop streaming时,子进程返回了非零的退出码,导致mapreduce任务失败。您可以通过查看mapper.py和reducer.py的日志来找到更具体的错误信息。
常见导致这个错误的原因可能包括:
1. Python脚本出现了语法错误或逻辑错误,导致运行失败。您可以尝试在本地运行mapper.py和reducer.py来确定问题所在。
2. 您在命令行中指定了错误的文件路径或文件名,导致hadoop找不到或无法读取文件。您可以检查输入文件和输出目录是否存在,并且确保文件名和路径都是正确的。
3. 您的环境变量或配置文件可能有误。您可以检查HADOOP_HOME、JAVA_HOME等环境变量是否正确设置,并且检查hadoop配置文件中是否有错误的配置。
另外,您也可以尝试在命令行中添加"-verbose"选项来打印更详细的日志信息,以帮助您确定问题所在。
在执行hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar \ > -file mapper.py \ > -mapper mapper.py \ > -file reducer.py \ > -reducer reducer.py \ > -input input.txt \ > -output output时报错WARN streaming.StreamJob: -file option is deprecated, please use generic option -files instead.怎么解决
这个警告提示说 `-file` 选项已经被弃用了,应该使用通用选项 `-files`。所以你可以将命令中的 `-file` 替换为 `-files`,例如:
```
hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar \
-files mapper.py \
-mapper mapper.py \
-files reducer.py \
-reducer reducer.py \
-input input.txt \
-output output
```
这样就可以避免这个警告了。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)