京东的大数据计算：Apache Flink的应用与优化

"7-3+Apache+Flink在京东的应用与优化.pdf"主要讲述了Apache Flink在京东的发展历程、平台架构、应用案例以及针对社区版Flink进行的优化改进。 Apache Flink在京东的发展历程始于2014年，经历了从第一代流式处理到新一代流批一体实时计算平台的演变。在2017年之后，Flink逐渐实现了全部容器化，到2018年，京东采用了Flink 1.8和1.9版本，进一步发展到2019年和2020/2021年的Flink 1.10和1.12，引入了SQL支持和微批处理功能。京东实时计算平台（JRC）作为统一引擎，支持流处理和批处理，并具备智能化特性。 平台架构方面，Flink运行在Kubernetes（K8s）之上，依赖Zookeeper进行协调，数据存储包括HDFS、HBase、ES和JimDB等，提供实时数仓、实时大屏、实时报表、实时监控、实时推荐和实时风控等多种应用场景。目前，京东的Flink集群规模超过6000个节点，服务超过20个一级部门，运行着3600多个Flink任务，峰值处理能力达到每秒6亿条数据。 在Flink优化改进上，针对业务痛点，京东进行了深度定制和优化。例如，解决了并行度调整后网络buffer不足的问题，通过增加网络buffer预估来提升系统稳定性；为了解决SQL任务无法指定算子配置和任务所需Slot数不清楚的难题，引入了槽位分组预览功能，使得用户可以更清晰地了解任务资源需求；同时，简化任务调优过程，提供了预览拓扑的功能，使任务提交时能更好地配置Name和Parallelism，增强了易用性。 此文件详细展示了Apache Flink在京东的广泛应用和持续优化，强调了京东如何通过技术创新和定制化开发，解决实际业务中的挑战，以满足大规模实时计算的需求。这些经验对于其他企业和开发者在使用Flink时具有很高的参考价值。