深入浅出数据仓库中SQL性能优化之Hive篇_hive仓库优化

Hive

1星需积分: 38 985 浏览量更新于2023-05-30 评论 1 收藏 809KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

深入浅出数据仓库中SQL性能优化之Hive篇

发表于2015011310:42|3660次阅读|来源CSDN|16条评论|作者孙逸



数据仓库性能优化SQLHiveMapReduce

&nbsp;摘要：Hive查询生成多个mapreducejob，一个mapreducejob又有map，reduce，spill，shuffle，

sort等多个阶段，所以针对hive查询的优化可以大致分为针对MR中单个步骤的优化，针对MR全局的优化以

及针对整个查询的优化。

一个Hive查询生成多个MapReduceJob，一个MapReduceJob又有Map，Reduce，Spill，Shuffle，Sort等

多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对

MR全局的优化，和针对整个查询（多MRJob）的优化，下文会分别阐述。

在开始之前，先把MR的流程图帖出来（摘自Hadoop权威指南），方便后面对照。另外要说明的是，这个

优化只是针对Hive0.9版本，而不是后来Hortonwork发起Stinger项目之后的版本。相对应的Hadoop版本是

1.x而非2.x。

所以如果不做修改的话，就是1个Maptask处理256MB数据，我们就以调整max为主。通过调整max可以起

到调整Map数的作用，减小max可以增加Map数，增大max可以减少Map数。需要提醒的是，直接调整

Mapred.Map.tasks这个参数是没有效果的。

调整大小的时机根据查询的不同而不同，总的来讲可以通过观察Maptask的完成时间来确定是否需要增加

Map资源。如果Maptask的完成时间都是接近1分钟，甚至几分钟了，那么往往增加Map数量，使得每个

Maptask处理的数据量减少，能够让Maptask更快完成；而如果Maptask的运行时间已经很少了，比如10

20秒，这个时候增加Map不太可能让Maptask更快完成，反而可能因为Map需要的初始化时间反而让Job总

体速度变慢，这个时候反而需要考虑是否可以把Map的数量减少，这样可以节省更多资源给其他Job。

Reduce阶段的优化(Reducephase)

这里说的Reduce阶段，是指前面流程图中的Reducephase（实际的Reduce计算）而非图中整个Reduce

task。Reduce阶段优化的主要工作也是选择合适的Reducetask数量，跟上面的Map优化类似。

与Map优化不同的是，Reduce优化时，可以直接设置Mapred。Reduce。tasks参数从而直接指定Reduce的

个数。当然直接指定Reduce个数虽然比较方便，但是不利于自动扩展。Reduce数的设置虽然相较Map更灵

活，但是也可以像Map一样设定一个自动生成规则，这样运行定时Job的时候就不用担心原来设置的固定

Reduce数会由于数据量的变化而不合适。

Hive估算Reduce数量的时候，使用的是下面的公式：



[js]viewplaincopy



1.num_Reduce_tasks=min[${Hive.exec.Reducers.max}，

2.

(${input.size}/${Hive.exec.Reducers.bytes.per.Red

ucer})]



也就是说，根据输入的数据量大小来决定Reduce的个数，默认Hive.exec.Reducers.bytes.per.Reducer为

1G，而且Reduce个数不能超过一个上限参数值，这个参数的默认取值为999。所以我们可以调整

Hive.exec.Reducers.bytes.per.Reducer来设置Reduce个数。

设置Reduce数同样也是根据运行时间作为参考调整，并且可以根据特定的业务需求、工作负载类型总结出

经验，所以不再赘述。

Map与Reduce之间的优化(Spill，copy，Sort

phase)

Mapphase和Reducephase之间主要有3道工序。首先要把Map输出的结果进行排序后做成中间文件，其次

这个中间文件就能分发到各个Reduce，最后Reduce端在执行Reducephase之前把收集到的排序子文件合并

成一个排序文件。这个部分可以调的参数挺多，但是一般都是不要调整的，不必重点关注。

Spill与Sort

在Spill阶段，由于内存不够，数据可能没办法在内存中一次性排序完成，那么就只能把局部排序的文件先

保存到磁盘上，这个动作叫Spill，然后Spill出来的多个文件可以在最后进行merge。如果发生Spill，可以通

过设置io.Sort.mb来增大Mapper输出buffer的大小，避免Spill的发生。另外合并时可以通过设置

io.Sort.factor来使得一次性能够合并更多的数据。调试参数的时候，一个要看Spill的时间成本，一个要看

merge的时间成本，还需要注意不要撑爆内存（io.Sort.mb是算在Map的内存里面的）。Reduce端的merge

也是一样可以用io.Sort.factor。一般情况下这两个参数很少需要调整，除非很明确知道这个地方是瓶颈。

Copy

copy阶段是把文件从Map端copy到Reduce端。默认情况下在5%的Map完成的情况下Reduce就开始启动

copy，这个有时候是很浪费资源的，因为Reduce一旦启动就被占用，一直等到Map全部完成，收集到所有

数据才可以进行后面的动作，所以我们可以等比较多的Map完成之后再启动Reduce流程，这个比例可以通

Mapred.Reduce.slowstart.completed.Maps去调整，他的默认值就是5%。如果觉得这么做会减慢Reduce端

copy的进度，可以把copy过程的线程增大。tasktracker.http.threads可以决定作为server端的Map用于提供

数据传输服务的线程，Mapred.Reduce.parallel.copies可以决定作为client端的Reduce同时从Map端拉取数据

的并行度（一次同时从多少个Map拉数据），修改参数的时候这两个注意协调一下，server端能处理client

端的请求即可。

文件格式的优化

文件格式方面有两个问题，一个是给输入和输出选择合适的文件格式，另一个则是小文件问题。小文件问

题在目前的Hive环境下已经得到了比较好的解决，Hive的默认配置中就可以在小文件输入时自动把多个文件

合并给1个Map处理，输出时如果文件很小也会进行一轮单独的合并，所以这里就不专门讨论了。相关的参

数可以在这里找到。

关于文件格式，Hive0.9版本有3种，textfile，sequencefile和rcfile。总体上来说，rcfile的压缩比例和查询时

间稍好一点，所以推荐使用。

关于使用方法，可以在建表结构时可以指定格式，然后指定压缩插入：



[js]viewplaincopy



1.createtablerc_file_test(colint)storedasrcfile;

2.setHive.exec.compress.output=true;

3.insertoverwritetablerc_file_test

4.select*fromsource_table;



另外时也可以指定输出格式，也可以通过Hive。default。fileformat来设定输出格式，适用于createtableas

select的情况：

剩余15页未读，继续阅读

谭正强

2020-09-14

没有太多用哦

NinjaPanda

粉丝: 28
资源: 232

会员权益专享

深入浅出数据仓库中SQL性能优化之Hive篇

评论1

会员权益专享

最新资源

深入浅出数据仓库中SQL性能优化之Hive篇

评论1

sparksql flinksql hivesql性能对比

HiveSQL优化手册

idea中使用spark sql查询hive

spark2.4+hive使用现有hive仓库中的数据

一次关于 cdh 中 spark sql代码操作hive无法连接hive元数据问题

spark从入门到放弃三十二:spark sql(5)hive sql 简述

spark sql快速入门系列之hive

sparksql与hivesql区别

spark sql 与 spark sql on hive 区别

spark sql 操作 mysql数据库和 hive数据仓库

spark sql精华及与hive的集成（spark sql原理，api,操作外部源数据，sql函数）

sql on hadoop性能对比－hive、spark sql、impala

hive sql与oracle sql的区别

hive sql和oracle sql区别

my sql与hive sql的区别？

spark-sql整合hive，在spark-sql命令和spark-shell命令下执行sql命令和整合调用hive

sparksql和hivesql的区别

hive计算怎么优化

spark sql: hivecontext操作hive表

spark 3.0 中七个必须知道的 sql 性能优化

会员权益专享

最新资源