没有合适的资源?快使用搜索试试~ 我知道了~
首页Facebook Presto 研究与性能测试v2.3.docx
经过对 Presto 和 Hive 的性能做了大量的对比测试,最终结果表明: Presto 的平均查询性能是 Hive 的 10 倍! 由于 Presto 的数据源具有完全解耦、高性能,以及对 ANSI SQL 的支持等特性,使得 Presto 在 ETL、实时数据计算、 Ad-Hoc 查询和实时数据流分析等多个业务场景中均能发挥重要的作用。
资源详情
资源评论
资源推荐

Facebook Presto
研究与性能测试
【版本:V2.3】
2018 年 1 月 5 日

文档编号: 研究与性能测试密级分类:公开
目录
概述
版本说明
与
架构
三种类型的服务
通过 获取数据元数据
客户端协议是 !
"支持 #$%
其他特性
全面的 &' 支持
可以使用 &' 进行管理集群
执行查询
&' 会被转换为 (,,)*
所有的 是并行运行
内存之间数据传输
环境要求
软件要求
安装
连接器
集群搭建
下载解压
配置文件 "
运行 +
安装 ,- +
.(/0柳岛 +
-)
开始使用
性能测试
建立 表
测试查询
数据完整性校验
全量数据多维查询 1
全量多维聚合查询
连接查询
其他复杂 &' 查询
带窗口函数的查询 "
补充:实现 2.3* 跨库联合查询 4! 1
"补充:实现 2.3* 跨库联合查询5!4 !
1对比 执行计划
执行计划

文档编号: 研究与性能测试密级分类:公开
执行计划
排序操作
执行计划
执行计划
开发自定义函数 "
实现步骤 "
新建一个 0 项目 "
创建 06))*-( 文件
创建 *-( 的实现类 576*-(
编写 5# 业务
5# 开发模版
* 函数
(((8 函数
性能调优
启用磁盘溢写
使用 9% 格式
考虑开启 7-7//:
;2 参数调整 "
调整单个查询在单个节点上可使用的最大内存1
调整单个查询可使用的最大集群内存1
考虑启用网络拓扑感知 +
"设置 , 处理 )* 的线程数 +
1设置 的并发数 +
+考虑开启“元数据查询”
查询语句优化
查询时指定需要的列
合理安排 <-)$. 字段的顺序
对于使用 7$. 的查询,同时加上 '0 语句
使用模糊聚合函数
操作表的顺序
其他性能调整
配置资源组
后期工作 +
安全 +

文档编号: 研究与性能测试密级分类:公开
(1) 概述
是 $ 开源的一个开源项目。通过使用分布式查询,可以快速高效的完成
海量数据的查询。
不仅可以访问 #,也可以操作不同的数据源,包括:9#$2 和其他的数据源
(例如:%7)。
还支持数据联邦,可以在不同的数据源之间进行联合查询。
被设计为数据仓库和数据分析产品:数据分析、大规模数据聚集和报表生成。
这些工作经常通常被认为是线上分析处理操作。
(2) 版本说明
有多个开源版本,例如 ,#京东,7,各厂
商都针对自己的实际需求对 做了相应的改造。
由于 最初是由 开源出来的,且它的黄金搭档 最初也是由
开源的,两者搭配使用兼容性应该更好,因此本文研究的是 版本的 。
:/=)>)7
#:/=)>)7?/0
7:/=)>(/-07)
(3) Hive 与 Presto
更适合长时间的批处理查询分析, 适用于实时交互式 &' 查询,它给数据
分析师提供了快速实验、验证想法的大数据分析工具(即席查询 @7)。所以可以先使
用
进行数据转换处理,之后使用
在
处理后的结果数据集上进行快速的数据
分析。
是 &' 实时大数据查询分析引擎,它不是为了替换
而生 , 在做数据仓
库时是非常有价值的。 与 都是构建在 7) 之上的数据查询工具,各有不同
的侧重适应面,但从客户端使用来看它们与 有很多的共同之处,如数据表元数据、
/A 接口、 #$%#$% 驱动、&' 语法、灵活的文件格式等。

文档编号: 研究与性能测试密级分类:公开
支持 &' 并提供了一个标准数据库的语法特性,但其不是一个通常意义上的关
系数据库如 2.&'、(&' 或者 * 的替代品。
不能用来解决联机事务处理
( ' ) 。
参考资料:/=)>,,,*(0B/(.-C-)*-8/0*
(4) 架构
是一个完全基于内存的分布式查询执行引擎,因此 集群的硬件选择必须
满足大内存、万兆网络和高计算能力的特点。
1. 分布式和插件架构
(5) 三种类型的服务
%7:负责解析 &' 语句,生成执行计划,分发执行任务给 D 节点执行;
D:负责实际执行查询任务,负责与 # 交互读取数据;
#.:#. 通常内嵌于 %7 节点中,用于注册 , 节点。
(6) 通过 connector 获取数据/元数据
是无状态的。
可以给任何数据源提供分布式 &' 查询, 是松耦合的。
支持数据联邦(不同数据源联合查询)。
(7) 客户端协议是 HTTP + JSON
支持多种语言:,9-.,./,,9 等
剩余63页未读,继续阅读


















安全验证
文档复制为VIP权益,开通VIP直接复制

评论0