flink中所有的算子不是常用的算子
时间: 2024-06-10 10:10:29 浏览: 245
Flink 自定义算子 读取MySQL (scala源代码)
,但是flink提供了丰富的算子库,可以满足大部分的数据处理需求。以下是flink中常用的算子:
1. Map算子:对数据集中的每个元素进行操作,并返回一个新的数据集。
2. FlatMap算子:将数据集中的每个元素映射到0个或多个元素,并返回一个新的数据集。
3. Filter算子:根据给定的条件过滤数据集中的元素,并返回一个新的数据集。
4. KeyBy算子:将数据集按照指定的key进行分组,返回一个KeyedStream。
5. Reduce算子:对数据集中的元素进行聚合操作,并返回一个新的数据集。
6. Aggregations算子:根据给定的聚合函数对数据集中的元素进行聚合操作,并返回一个新的数据集。
7. Union算子:将两个数据集合并成一个新的数据集。
8. Join算子:将两个数据集按照指定的条件进行连接,并返回一个新的数据集。
9. Window算子:对数据集中的元素进行窗口操作,并返回一个新的数据集。
10. Sink算子:将数据集输出到指定的外部系统中。
阅读全文