flink中的表数据量过大怎么防止内存溢出

根据引用\[1\]和\[2\]的描述，Flink Taskmanager在运行过程中出现了OOM错误，并且通过Prometheus观察到flink_taskmanager_Status_JVM_Threads_Count指标持续增长，内存也持续增长。经过调整容器内存和JVM堆内存的大小后，问题仍然存在。海外dev环境中运行的两个Taskmanager实例中，每次只有一个实例会因为OOM被杀掉，猜测是某个Flink Job导致了线程数量不受控制地增加。引用\[3\]指出，通过进一步分析，怀疑是kafka sink这一步存在异常。为了验证这个猜想，停止了海外dev环境中的任务，并去掉了国内dev环境任务的sink。经过一晚的运行观察，发现没有出现OOM异常，并且在Grafana上观察到线程指标存在升降变化，容器内存也持续稳定。根据引用\[3\]的描述，结合Flink源码，可以确定问题是由于kafka-client引起的一个BUG。解决方案是升级到1.15.2以上版本。所以，为了防止内存溢出，您可以考虑升级到1.15.2以上版本。
#### 引用[.reference_title]
- *1* *2* *3* [Flink Taskmanager 内存溢出](https://blog.csdn.net/qq_29186793/article/details/127449736)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]