Flink 官方文档中的 Hive Integration 部分,介绍如何使用 Flink 的 UpsertStreamTableSink 和 RetractStreamTableSink
时间: 2024-01-14 18:05:25 浏览: 142
flink-connector-hive-2.11-1.12.7-API文档-中文版.zip
5星 · 资源好评率100%
Flink 官方文档中的 Hive Integration 部分介绍了如何使用 Flink 的 UpsertStreamTableSink 和 RetractStreamTableSink。
在 Flink 中,可以使用 UpsertStreamTableSink 和 RetractStreamTableSink 将数据写入 Hive 表中。这两个 TableSink 都可以将 Flink 流式计算结果写入到 Hive 表中,但是 UpsertStreamTableSink 支持更多的操作类型,比如 upsert 操作。
在使用 UpsertStreamTableSink 时,需要先在 Hive 中创建一个表,表结构需要与 Flink 流式计算结果的结构匹配。然后,需要在 Flink 中创建一个 Table 对象,将其与 UpsertStreamTableSink 绑定。最后,将流式计算结果写入到这个 Table 对象中,它将自动将结果写入到 Hive 表中。
使用 RetractStreamTableSink 也是类似的,但是需要注意的是,RetractStreamTableSink 只支持插入和删除操作,不支持 upsert 操作。
总的来说,在使用 Flink 与 Hive 集成时,可以根据实际需要选择使用 UpsertStreamTableSink 或 RetractStreamTableSink。
阅读全文