hive中mapreduce设置个数
时间: 2023-04-24 15:00:42 浏览: 275
hive的一些关于设置map和reduce的参数
在Hive中设置MapReduce的个数,可以通过以下两种方式实现:
1. 在Hive中使用set命令设置mapreduce.job.maps和mapreduce.job.reduces参数的值,例如:
set mapreduce.job.maps=10;
set mapreduce.job.reduces=5;
这样就可以将MapReduce的个数分别设置为10和5。
2. 在Hadoop的配置文件中设置mapreduce.job.maps和mapreduce.job.reduces参数的值,例如:
在mapred-site.xml文件中添加以下配置:
<property>
<name>mapreduce.job.maps</name>
<value>10</value>
</property>
<property>
<name>mapreduce.job.reduces</name>
<value>5</value>
</property>
这样就可以将MapReduce的个数分别设置为10和5,对于所有的Hive作业都会生效。
阅读全文