mapreduce.input.fileinputformat.split.minsize

mapreduce.input.fileinputformat.split.minsize 是一个 Hadoop MapReduce 参数，用于设置输入数据的切片最小大小。在 Hadoop MapReduce 中，输入数据被分成多个小块，每个小块被称为一个 "split"，每个 split 都由一个 Mapper 处理。mapreduce.input.fileinputformat.split.minsize 参数用于控制 split 的大小，从而控制 Mapper 的数量。

如果输入数据很小，可以将 mapreduce.input.fileinputformat.split.minsize 设置为很小的值，以便产生更多的 split，从而使 Mapper 的数量增加，提高作业的并行度。如果输入数据很大，可以将 mapreduce.input.fileinputformat.split.minsize 设置为较大的值，以减少 split 的数量，从而降低 Mapper 的数量，避免资源的浪费。

相关问题

mapreduce.input.fileinputformat.split.minsize.per.node

mapreduce.input.fileinputformat.split.minsize.per.node 是一个 Hadoop 配置属性，它定义了每个数据节点上的最小输入分片大小。在 Hadoop MapReduce 中，输入数据会被分为多个数据块以便于并行处理。该属性指定了每个节点上最小的数据块大小，如果某个节点上的文件大小小于这个值，那么该节点上的文件将会被合并到一个更大的数据块中。

该属性的默认值为 0，表示 Hadoop 框架会根据文件大小自动计算最小的数据块大小。如果需要自定义该值，可以在 Hadoop 配置文件中添加以下配置：

mapreduce.input.fileinputformat.split.minsize.per.node=<size in bytes>

其中，<size in bytes> 表示每个节点上的最小数据块大小，以字节为单位。例如，设置为 1000000 表示每个节点上的最小数据块大小为 1MB。

可以在core-site.xml中设置mapreduce.input.fileinputformat.split.minsize吗

在Hadoop的core-site.xml配置文件中，没有一个名为mapreduce.input.fileinputformat.split.minsize的属性可以直接设置。通常来说，设置MapReduce作业中文件输入分片（splits）的最小大小是通过hdfs-site.xml文件中的配置项完成的。具体来说，可以使用以下配置项来控制分片的最小大小：

<property>
  <name>dfs.replication.min</name>
  <value>1</value>
  <description>
    The minimum block size for the HDFS. If set, the NameNode will create
    a new block if the remaining space on the current block is less than this.
  </description>
</property>

虽然这个配置项并不是直接针对MapReduce的，但是它会影响到HDFS上的文件块（block）大小，从而间接影响到MapReduce作业的输入分片大小。

如果你想设置MapReduce作业的输入分片大小，你应该在MapReduce作业的配置中通过编程的方式进行设置，而不是直接修改core-site.xml。例如，在Java代码中，可以使用FileSystem的setMinSplitSize方法来设置：

Configuration conf = getConf();
FileSystem fs = FileSystem.get(conf);
long minSplitSize = ...; // 设置你想要的最小分片大小
fs.setMinSplitSize(minSplitSize);

如果你确实需要通过配置文件来设置这个参数，那么你可能需要修改mapred-site.xml文件，这个文件专门用于配置MapReduce相关的设置。但请注意，Hadoop版本不同，支持的配置参数也可能有所不同。