flink mysql实时数仓
时间: 2023-08-15 10:08:08 浏览: 76
Flink MySQL实时数仓是指使用Flink作为数据处理引擎,将实时数据从MySQL数据库中读取、清洗、计算,并将结果写入到MySQL数据库中的一种架构。这种架构通常由多个Flink作业和多张Iceberg表组成。Iceberg负责数据的存储,而Flink负责数据的清洗和流转。在这个架构中,Flink起到了关键的作用,保证了数据的实时性和稳定性。在一个Flink流式作业中,数据会经过读取、计算和写入的过程。然而,在实际场景中,我们发现数据的读取效率较低,严重影响了作业的吞吐量。因此,后续的优化工作主要集中在读取部分。\[3\]为了保证数据的准确性,我们可以采用两种时间结合的方案。在每天的0点到0点5分时间段,采用EventTime时间处理,尽可能保证延迟数据不出现跨天的问题。其他时间段则采用ProcessingTime时间处理,以保证数据的多次计算结果一致。\[1\]此外,我们还可以根据自己的去重方案设计时间戳,比如使用动态时间戳,如'20200601'或'2020060112'。通过使用ValueState<Boolean>,我们可以判断distinctKey是否存在,从而判断是否为重复日志。同时,我们可以设置状态的过期时间为24小时,以确保及时清理过期的状态。\[2\]
#### 引用[.reference_title]
- *1* *2* [基于Flink构建实时数仓实践](https://blog.csdn.net/w397090770/article/details/112256003)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
- *3* [小米基于 Flink 的实时数仓建设实践](https://blog.csdn.net/weixin_44904816/article/details/130998557)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)