执行hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar -archives mapper.py#mapper.py,reducer.py#reducer.py -mapper mapper.py -reducer reducer.py -input input.txt -output output时报错sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false怎么解决

这个错误是由于Hadoop默认开启了SASL的认证机制，但是本地与远程主机都没有设置信任关系导致的。解决方法如下：

1. 在hadoop的配置文件中关闭SASL认证机制，在hdfs-site.xml和core-site.xml文件中添加以下配置：

<property>
    <name>dfs.data.transfer.protection</name>
    <value>none</value>
</property>

2. 如果你的Hadoop是在集群上运行的，需要在集群中的每个节点上设置信任关系。在每个节点上执行以下命令：

hadoop fs -put /etc/hadoop/truststore.jks .

然后在core-site.xml文件中添加以下配置：

<property>
    <name>dfs.encrypt.data.transfer</name>
    <value>true</value>
</property>

<property>
    <name>dfs.ssl.client.truststore.location</name>
    <value>/path/to/truststore.jks</value>
</property>

其中，/path/to/truststore.jks是你上传到HDFS上的truststore.jks文件的路径。

3. 重启Hadoop服务，然后再次执行你的命令即可。

希望这些步骤可以帮助你解决问题。

相关问题

在执行hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar -archives mapper.py#mapper.py,reducer.py#reducer.py -mapper mapper.py -reducer reducer.py -input input.txt -output output时报错java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1怎么解决

这个错误提示表明在执行hadoop streaming时，子进程返回了非零的退出码，导致mapreduce任务失败。您可以通过查看mapper.py和reducer.py的日志来找到更具体的错误信息。

常见导致这个错误的原因可能包括：

1. Python脚本出现了语法错误或逻辑错误，导致运行失败。您可以尝试在本地运行mapper.py和reducer.py来确定问题所在。

2. 您在命令行中指定了错误的文件路径或文件名，导致hadoop找不到或无法读取文件。您可以检查输入文件和输出目录是否存在，并且确保文件名和路径都是正确的。

3. 您的环境变量或配置文件可能有误。您可以检查HADOOP_HOME、JAVA_HOME等环境变量是否正确设置，并且检查hadoop配置文件中是否有错误的配置。

另外，您也可以尝试在命令行中添加"-verbose"选项来打印更详细的日志信息，以帮助您确定问题所在。

在执行hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar \ -files mapper.py \ -mapper mapper.py \ -files reducer.py \ -reducer reducer.py \ -input input.txt \ -output output时报错ERROR streaming.StreamJob: Unrecognized option: -files

如果你使用的 Hadoop 版本是 2.6.0 或以上的版本，那么 `-files` 选项已经被弃用了，改为使用 `-archives` 选项。

所以你可以将命令中的 `-files` 替换为 `-archives`，例如：

hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-*.jar \
    -archives mapper.py#mapper.py,reducer.py#reducer.py \
    -mapper mapper.py \
    -reducer reducer.py \
    -input input.txt \
    -output output

这样就可以避免这个错误了。