怎么设置hadoop的minimum split size per node

在Hadoop中，`minimum split size per node`是指在MapReduce作业中，分配给每个节点执行的最小数据块大小。调整这个参数可以影响作业的并行度和资源利用效率。若想要设置`minimum split size per node`，可以通过修改Hadoop配置文件`mapred-site.xml`来实现。

以下是设置`minimum split size per node`的步骤：

1. 打开Hadoop配置文件`mapred-site.xml`，这个文件通常位于`$HADOOP_HOME/etc/hadoop/`目录下。

2. 在`mapred-site.xml`文件中添加或修改以下属性：

   <configuration>
       <property>
           <name>mapreduce.input.fileinputformat.split.minsize</name>
           <value>大小值</value>
           <description>设置每个split的最小大小，单位是字节。</description>
       </property>
   </configuration>

其中“大小值”是指定的最小split大小，可以根据你的具体需求来设置，例如`104857600`表示100MB。

3. 保存文件并关闭。

4. 重启Hadoop集群或相关的服务，以使配置生效。

需要注意的是，这个值不应该设置得过小，因为过小的split会导致Map任务数量过多，可能会引起NameNode的内存压力增加，并且过多的Map任务也会增加任务调度的开销。此外，如果split大小设置得小于HDFS上一个block的大小，那么Map任务将会处理整个block，但这并不意味着所有block都会被并行处理。