21、在Spak的处理逻辑中,下面哪个操作是窄依赖? ( ) A filter B.sort C.join D. group
时间: 2024-04-09 09:29:42 浏览: 91
hadoop-spak-3.2.zip
A. filter
在Spark的处理逻辑中,窄依赖指的是每个父RDD分区只有一个子RDD分区依赖于它。根据这个定义,filter操作是窄依赖。
filter操作通过过滤出满足条件的元素,生成一个新的RDD,其每个分区的数据都是从父RDD相应分区中筛选出来的。因为每个父RDD分区只有一个子RDD分区依赖于它,所以filter操作符合窄依赖的特征。
而sort、join和group操作都涉及到对数据进行重新分区或重新排列,会导致每个父RDD分区对应多个子RDD分区的情况,因此它们不属于窄依赖。
所以,选项A. filter是窄依赖操作。
阅读全文