网易严选实时计算平台建设与FlinkSQL实践

“7-4+网易严选实时计算平台建设实践.pdf”主要介绍了网易严选在实时计算平台建设上的经验，包括背景介绍、实时任务SQL化、Flink服务化、数据治理以及后续规划。 01 背景介绍 网易严选的实时计算平台经历了从2017年开始的发展，逐步实现了从简单的实时ETL到流处理平台的构建。在2018年6月和2019年4月，平台进行了平台化建设和StreamingSQL的引入。2019年11月，他们开始探索Flink服务化，并在2020年注重治理体系建设，最终在2021年朝着批流融合的方向发展。目前，平台拥有5000+的任务数，每日峰值流量达到2000万/s，整体延时小于1秒，涵盖了实时ETL、实时大屏、日志平台、业务监控、风控、APM预警、算法和特征工程等多个应用场景。 02 实时任务SQL化 为了降低实时计算的使用门槛，网易严选采用了SQL化的解决方案。他们提供了SQL IDE，支持在线开发和调试，使得应用开发更为便捷。此外，通过统一元数据管理，实现了UDF（用户自定义函数）仓库，支持版本控制，增强了SQL的功能并扩展了其能力。同时，平台支持主流存储引擎，可以处理多种消息格式，屏蔽了消息解析的复杂性，让开发者可以专注于业务逻辑。 03 Flink服务化 Flink作为实时计算的核心，被服务化，称为Flink As A Service，旨在提供更稳定、易用的服务。这包括将Flink运行在Kubernetes上，以实现更好的资源管理和调度，提高系统的可扩展性和容错性。 04 数据治理 数据治理是平台建设中的重要环节。网易严选构建了完整的元数据管理体系，支持主流数据存储引擎，确保数据的完整性和一致性。此外，数据治理还包括对各种消息格式的支持，以及对消息解析细节的屏蔽，以提升数据处理的效率和质量。 05 后续规划 对于未来，网易严选的实时计算平台计划继续优化和升级，可能涉及更深入的批流融合，提升平台的性能和用户体验，同时也可能在数据安全、数据治理等方面有新的举措。 总结来说，网易严选的实时计算平台建设是一个逐步演进的过程，从初期的基础实时处理到现在的全面服务化和SQL化，旨在提供高效、易用、稳定的实时数据处理能力，支持电商领域的各种实时业务需求。