6.SparkSQL（中）--深入了解运行计划及调优.pdf_任务计划程序服务没有运行-spark其他

需积分: 14 163 浏览量更新于2023-05-23 评论收藏 2.38MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

第 1 页共 25 页出自石山园，博客地址：http://www.cnblogs.com/shishanyuan

了解 SparkSQL 运行计划及优化

第 2 页共 25 页出自石山园，博客地址：http://www.cnblogs.com/shishanyuan

1 使用HIVE-CONSOLE 了解运行计划 .................................................................................................................... 3

1.1 运行环境说明 ..................................................................................................................................................... 3

1.1.1

硬软件环境

...................................................................................................................................................... 3

1.1.2

集群网络环境

.................................................................................................................................................. 3

1.2 编译H

IVE ............................................................................................................................................................. 4

1.2.1

下载

Hive

源代码包

........................................................................................................................................... 4

1.2.2

上传

Hive

源代码包

........................................................................................................................................... 4

1.2.3

解压缩并移动到编译目录

.............................................................................................................................. 4

1.2.4

编译

Hive ........................................................................................................................................................... 5

1.3 首次运行

HIVE-CONSOLE ..................................................................................................................................... 6

1.3.1

获取

Spark

源代码

............................................................................................................................................. 6

1.3.2

配置

/etc/profile

环境变量

................................................................................................................................. 6

1.3.3

运行

sbt

进行编译

.............................................................................................................................................. 6

1.4 使用

HIVE-CONSOLE ............................................................................................................................................. 7

1.4.1

启动

hive-console .............................................................................................................................................. 7

1.4.2

辅助命令

Help

和

Tab

键

..................................................................................................................................... 8

1.4.3

常用操作

.......................................................................................................................................................... 9

1.4.4

查看查询的

Unresolved LogicalPlan ............................................................................................................. 10

1.4.5

不同数据源的运行计划

................................................................................................................................ 11

1.4.6

不同查询的运行计划

.................................................................................................................................... 16

1.4.7

优化

................................................................................................................................................................ 19

SPARKSQL调优 ...................................................................................................................................................... 20

2.1 并行性 ............................................................................................................................................................... 21

2.2 高效的数据格式 ............................................................................................................................................... 22

2.2.1

数据本地性

.................................................................................................................................................... 23

2.2.2

合适的数据类型

............................................................................................................................................ 23

2.2.3

合适的数据列

................................................................................................................................................ 23

2.2.4

优的数据存储格式

........................................................................................................................................ 23

2.3 内存的使用 ....................................................................................................................................................... 24

2.4 合适的T

ASK ...................................................................................................................................................... 24

2.5 其他的一些建议 ............................................................................................................................................... 25