mapreduce配置文件
时间: 2023-10-06 21:14:15 浏览: 127
MapReduce 是一个分布式计算模型,它可以通过配置文件进行配置。下面是 MapReduce 的配置文件中常用的一些属性:
1. mapreduce.framework.name:指定 MapReduce 框架的名称,可以为 local(本地模式)或 yarn(YARN 模式)。
2. mapreduce.job.name:指定任务的名称。
3. mapreduce.job.reduces:指定 Reduce 任务的数量。
4. mapreduce.job.maps:指定 Map 任务的数量。
5. mapreduce.input.fileinputformat.inputdir:指定输入文件或文件夹的路径。
6. mapreduce.output.fileoutputformat.outputdir:指定输出文件或文件夹的路径。
7. mapreduce.partition.keypartitioner.options:指定用于分区的键(key)的属性。
8. mapreduce.reduce.shuffle.input.buffer.percent:指定 Reduce 端的缓存大小。
9. mapreduce.task.timeout:指定任务的超时时间(以毫秒为单位)。
10. mapreduce.map.output.compress:指定是否启用 Map 输出的压缩功能。
这些属性可以在 MapReduce 的配置文件中进行设置。在 YARN 模式下,配置文件的默认位置为 $HADOOP_HOME/etc/hadoop/mapred-site.xml。在本地模式下,配置文件的默认位置为 $HADOOP_HOME/etc/hadoop/mapred-local.xml。
阅读全文