Flink计算的现状与未来：王绍翾在2018上海Flink Meetup的分享

"本次分享是Flink China社区在上海举办的线下 Meetup 的资料，主题为‘Flink计算的现状和未来’，由王绍翾（大沙）进行讲解。大沙是阿里巴巴的员工，同时也是Flink的Committer。他讨论了Flink在性能提升、快速容错、低延迟等方面的优势，并介绍了在Flink生态中的贡献，包括优化流计算核心技术和Flink SQL的功能完善。此外，他还提到了在大规模高并发部署上的优化和资源配置自动化的工作进展。" 在Flink的计算领域，当前的状态显示了其强大的性能和易用性。Flink提供了一套通用的API，确保了程序的灵活性，同时其快速容错机制保证了系统的稳定性。低延迟特性是Flink作为流计算核心的关键优势，这得益于其纯流式计算的设计。为了进一步优化性能，Flink社区在2016年至2018年间进行了多次改进，如增量检查点(IncrementalCheckpoint)、细粒度恢复(Fine-grained Recovery)、屏障对齐优化(Barrier Alignment Improvement)、异步操作符(Async Operator)、基于信用的流量控制(Credit-Based Flow Control)以及负载自动平衡(Load Auto Balance)等。 大规模高并发部署的优化是Flink能够应对复杂业务场景的基础。2016年的优化工作主要集中在这一方面，旨在提高系统在大数据量处理时的效率和稳定性。而2018年的重点则转向了资源配置的自动化，这将帮助用户更有效地管理和调度资源，提高整体计算效率。 在Flink SQL的发展上，大沙主导了Flink SQL语义的制定，逐步完善了动态表(Dynamic Table)、撤销(Retraction)、聚合(Aggregation)、连接(Join)和窗口(Window)等功能。通过这些改进，Flink SQL能够支持更广泛的查询，甚至在2018年成功跑通了全部TPCH查询，证明了其在复杂数据分析领域的强大能力。 大沙的贡献不仅限于技术层面，他还积极参与社区建设，推动Flink的发展。他的工作和努力使得Flink社区更加活跃，也推动了Flink在性能和易用性方面的不断进步，使其成为实时数据基础设施的重要组成部分。无论是大型企业如Broadcom、Facebook，还是学术研究机构如北京大学和加利福尼亚大学圣地亚哥分校，都在利用Flink进行高性能计算和社交图存储等任务。