Spark常用的算子以及Scala函数总结.pdf_sparkpreservesPartitioning用法 - CSDN文库

需积分: 50 139 浏览量更新于2023-05-18 评论收藏 2.06MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

2019/5/9 Spark常用的算子以及Scala函数总结 - 云+社区 - 腾讯云

https://cloud.tencent.com/developer/article/1335240 1/11

Spark常用的算子以及Scala函数总结

Spark与Scala

首先，介绍一下scala语言：

Scala 是一种把面向对象和函数式编程理念加入到静态类型语言中的混血儿。

为什么学scala？

spark提供了R、Python等语言的接口，为什么还要重新学一门新的语言呢？

1、spark本身就是用scala写的，采用与底层框架相同的语言有很多好处，例如以后你要看源

码......

2、性能开销小，scala可以直接编译运行在java的JVM上

3、能用上最新的版本。一般新版本都是最先支持scala，虽然现在python的接口也在不断的丰

富

4、到了工作岗位，你的师父（都是有几年相关经验的），前期由于python的支持还没有像

scala那样完善，因此会从scala开始使用spark的，你不学scala还让你师父转python啊！

新手学习Spark编程，在熟悉了Scala语言的基础上，首先需要对以下常用的Spark算子或者Scala函

数比较熟悉，才能开始动手写能解决实际业务的代码。

简单来说，Spark 算子大致可以分为以下两类:

1. Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。

Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是

马上执行，需要等到有 Action 操作的时候才会真正触发运算。

2. Action 行动算子：这类算子会触发 SparkContext 提交 Job 作业。

Action 算子会触发 Spark 提交作业（Job），并将数据输出 Spark系统。

从小方向来说，Spark 算子大致可以分为以下三类:

1. Value数据类型的Transformation算子，这种变换并不触发提交作业，针对处理的数据项是Value型

的数据。

2. Key-Value数据类型的Transfromation算子，这种变换并不触发提交作业，针对处理的数据项是

Key-Value型的数据对。

3. Action算子，这类算子会触发SparkContext提交Job作业

流川枫

发表于

AI星球

942

分享

2

专栏问答沙龙快讯团队主页开发者手册在线学习中心 TVP

备案控制台腾讯云首页

菜单

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余7页未读，立即下载

评论0

douxnxa

粉丝: 11
资源: 9

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈