指引
核心概念简介
使用 进行打包减少 包大小
中的弹性分布式数据集简称
中的 操作之 数据类型的算子
中的 操作之 数据类型的算子
中的 操作
算子
算子
! 算子与 算子的区别
" 算子
算子
懒加载
本地运行只要数据不要多余的日志
本地运行没有 #" 而报错
$% 中的 &$"& 窗口操作
$% 中的 "'($"& 窗口操作
$% 中的正常操作每读 ) 秒就计算一次
中的 *)+
中的处理流程图像
Spark 核心概念简介:
,$,-,./!$01"22////./3
4$. 统计 中的元素个数
$,5%
从 上层来看，每一个 应用都由一个驱动器程序"$,%来发起集群
上的各种并行操作.我们在类中所写的 $ 方法就属于驱动器程序6"$,% 通过一个
7/ 来访问 6这个对象代表对计算集群的一个链接。
如果你使用 ,1 来写代码的话，那么 "$,% 就是 ,1 本身，且
1 启动时自动创建了 7/ 对象
8/
如果要执行 算子等操作，那么 "$,% 会自动将操作发送到各个执行器节
点/上。那么不同的节点会分工进行计算，然后将数据返回给 "$,%
剩余10页未读，继续阅读
评论0