Hadoop-streaming使用中-files的用法

Hadoop Streaming是一种将用户自定义的命令行工具与Hadoop MapReduce框架结合起来使用的工具，它允许开发者使用任何可执行文件作为mapper、reducer或整个工作流的一部分。`-files`选项是Hadoop Streaming的一个重要参数，用于指定需要在集群上直接可用的外部文件。

当你在Hadoop Streaming命令中使用`-files`时，你需要提供两部分信息：
1. 文件名：这是你要在Hadoop节点上分发的文件路径，它可以是本地文件系统（file://）或者分布式文件系统（hdfs://）中的文件。
2. 密钥值对：每个文件都需要一个密钥（通常是本地文件系统的路径），Hadoop Streaming会把这些文件复制到所有参与任务的机器上，并通过这个键定位文件。

例如：

hadoop jar hadoop-streaming.jar \
-input input.txt \
-output output_dir \
-mapper myMapper.py \
-reducer myReducer.sh \
-file /local/path/to/mapper.py -mapper-keyfile mapper.key \
-file /local/path/to/reducer.sh -reducer-keyfile reducer.key \
-file hdfs://path/to/config.txt -mapper-fileconf conf.xml \
-files file:///data/input.txt,hdfs://path/to/file2.txt

在这个例子中，`-file`选项指定了三个文件，`myMapper.py`和`myReducer.sh`会被复制到每台worker节点，而`config.txt`则通过`-mapper-fileconf`选项传递给mapper脚本。