shell开发Hadoop streaming 实例代码

以下是一个使用Hadoop Streaming的Shell脚本示例代码：

#!/bin/bash

# 设置输入和输出目录
INPUT_DIR=/input
OUTPUT_DIR=/output

# 删除旧的输出目录
hadoop fs -rm -r $OUTPUT_DIR

# 运行Hadoop Streaming作业
hadoop jar /usr/local/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.10.1.jar \
    -input $INPUT_DIR \
    -output $OUTPUT_DIR \
    -mapper "map.sh" \
    -reducer "reduce.sh" \
    -file "map.sh" \
    -file "reduce.sh"

# 打印输出
hadoop fs -cat $OUTPUT_DIR/*

其中，map.sh和reduce.sh是实际的Mapper和Reducer脚本。在这个例子中，我们使用了Hadoop默认的Streaming jar文件，并将map.sh和reduce.sh文件作为输入文件传递给它。在运行作业之前，我们删除了旧的输出目录（如果存在），以便Streaming作业可以重新生成输出。最后，我们使用hadoop fs -cat命令打印输出。