没有合适的资源?快使用搜索试试~ 我知道了~
首页spark SQL应用解析
spark SQL应用解析
需积分: 25 131 浏览量
更新于2023-05-29
评论
收藏 2.07MB DOCX 举报
学习sparkSQL详细解析,SparkSQL实现功能,代码实例练习,以及实战, 计算所有订单中每年的销售总数、销售总额 计算所有订单每年最大金额订单的销售额 计算所有订单中每年最畅销货品
资源详情
资源评论
资源推荐

SparkSQL 应用解析

目 录
第 章 概述
什么是
三者的共性
三者的区别
第 章 执行 查询
命令行查询流程
创建 程序
第 章 解析
新的起始点
创建
常用操作!
风格语法!
风格语法"
创建
和 互操作
通过反射获取 #$
通过编程设置 #$
!类型之间的转换总结
"用户自定义函数
"用户自定义 % 函数
"用户自定义聚合函数
第 章 数据源
通用加载&保存方法"
手动指定选项"
文件保存选项
'() 文件
'() 读写
解析分区信息
#$ 合并
* 数据库
内嵌 * 应用
外部 * 应用
+,- 数据集!

+./"
第 章 服务器
第 章 运行
第 章 的运行原理(了解)
" 运行架构
"0-1
")23)24#)
" 运行原理
"使用 /25 保存元数据
"解析 6使用 -0 生成未绑定的逻辑计划
"使用分析器 278 绑定逻辑计划
"使用优化器 ,8 优化逻辑计划
"使用 '2 生成物理计划
"!使用 )74#) 执行物理计划
第 章 数据仓库的建设(了解)
什么是数据仓库
数据仓库的特点
数据仓库发展历程
数据库与数据仓库的区别
数据仓库架构分层!
!数据质量检查
"元数据介绍
什么是数据模型
为什么需要数据仓库模型
如何建设数据仓库模型
数据仓库数据模型架构
数据仓库建模阶段划分
数据仓库建模方法
维度建模
概述
使用选择!
缓慢变化维!
第 章 实战
数据说明!
加载数据!
计算所有订单中每年的销售单数、销售总额!!
计算所有订单每年最大金额订单的销售额!"
计算所有订单中每年最畅销货品!

第1章 Spark SQL 概述
什么是 Spark SQL
是 用来处理结构化数据的一个模块,它提供了一个编程抽
象叫做 并且作为分布式 查询引擎的作用。
我们已经学习了 ,它是将 转换成 然后提交到集
群上执行,大大简化了编写 的程序的复杂性,由于 这种
计算模型执行效率比较慢。所有 的应运而生,它是将 转换
成 ,然后提交到集群执行,执行效率非常快!
易整合
统一的数据访问方式
兼容

标准的数据连接
可以看做是一个转换层,向下对接各种不同的结构化数据源,向
上提供不同的数据访问方式。
剩余63页未读,继续阅读




















拉兹罗
- 粉丝: 10
- 资源: 9
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助

会员权益专享
安全验证
文档复制为VIP权益,开通VIP直接复制

评论0