没有合适的资源?快使用搜索试试~ 我知道了~
首页flink内部机制和tableAPI
flink内部机制和tableAPI
需积分: 14 104 浏览量
更新于2023-05-31
评论
收藏 1.06MB DOCX 举报
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。
资源详情
资源评论
资源推荐

1. 流式 api(DataStream API)
1.1. 样例程序
下面是一个窗口函数计算 ,每 秒计算一次数据,数据从 发送过
来。
先在 机器上启动 :
!!
"
/**
* Created by wangsenfeng on 2017/11/15.
*/
#$"%&
#'()*! &
++初始化环境
,
getExecutionEnvironment'*
++监听 -.-/01/23 的 .... 端口发过来的数据流,每 1 秒进行
一次处理
445677,

'8-.-/01/2385....*
'!'**
9:9'2*
$!'seconds'1**
'-*
++打印数据到控制台
'*
++开启 程序
'8$!$"8*
;
#
4545677&
<=
#'5
"445677*! &
'!>'88**&
'!4567'!5-**
;
;
;
;
package
import ?
import !!
/**
* Created by wangsenfeng on 2017/11/15.
*/
object $"&
def '>@9()*&
++初始化环境
val ,
getExecutionEnvironment
++监听
val , '8-.-/01/2385....*

++每 1 秒计算
val , '?A!"'88*
B'?9**
''?5-**
9:9'2*
$!'seconds'1**
'-*
++打印
++开启
'8$!$"8*
;
;
1.2. 算子 DataStream Transformations
详情参考:
!!"#!$!%"!%"&!!'("')
一般的 *'+
特殊的 *'+

1.3. 数据源 Data Sources
," 可以通过 '-.+-"'/,+0加载数据源,并
且 %" 提 供 了 很 多 预 先 实 现 好 的 ,+ , 你 也 可 以 通 过 继 承
1"2,+ 或 者 实 现 接 口 2,+ 来 实 现 自 己 的
,+。
以下是一些实现好的数据读取方法,使用 '-.+-"' 访问
,"
3.,"/0读取文本文件,即尊重 3.4,' 规范的文件,逐行并将它们
作为字符串返回。
,"/54,'60读取/一次0文件,由指定的文件输入格式指定。
,"/54,'66376"6,"674*0这是前两个方法
内部调用的方法。它根据给定的 54,' 来读取路径中的文件。根据 37
提 供 6 这 源 可 能 定 期 监 测 / 每 间 隔 '0 新 数 据 的 路 径
/,"2"#8219:-(:9;34;<9<=>06 或 过 程 一 旦 数 据 目 前 路 径 和 退 出
/,"2"#8219:-(9;:-0。使用 ,",用户可以进一步排除正在处理
的文件。
3.'1*'元素可以由分隔符分隔
:+
*':+/:+0从 ++ 创建一个数据流。集合中的所有元
素必须是相同类型的
*':+/46:0从迭代器创建数据流。该类指定迭代器返回的元素的数
据类型
*'-'/30从给定的对象序列中创建一个数据流。所有对象都必须是相同类型
的
*'2:+/"46:0并行地从迭代器创建数据流。该类指定迭

代器返回的元素的数据类型
#?/*'60在给定的时间间隔内生成数字序列。
:'/自定义0
@*+,.'6*'@AB7
/,"AB:'CD/00*'"
1.4. 数据输出 Data Sinks
"@3./0!3.9,'将元素作为字符串写入行。字符串是通过调用每个元
素的 "#/0方法获得的
"@:/0!:9,'将元组写为逗号分隔值文件。行和字段分隔符是可配
置的。每个字段的值都来自对象的 "#/0方法。
"/0!"3-/0打印标准输出!标准错误流中的每个元素的 "#/0值。可选地,
可以提供前缀/'#0,这是对输出进行预先设置的。这可以帮助区分不同的打印请求。
如果并行度大于 ,输出也将被预先处理生成输出的任务的标识符。
"<"#9,'/0!,"9,'用于定制文件输出的方法和基类。支持自
定义 $7 转换
"3根据序列化模式将元素写入套接字
"调用一个自定义沉没函数。," 与其他系统/比如 @B0绑定在一起,
这些系统被实现为沉没功能。
2. Table api
!!"#!$!%"!%"&!!!".'
2.1. 样例程序
2.1.1. 从 scv 文件注册表
#
99
剩余30页未读,继续阅读



















安全验证
文档复制为VIP权益,开通VIP直接复制

评论0