"腾讯看点实时数据分析系统实践：Flink与ClickHouse的应用"

2020年10月12日，腾讯看点高级工程师王展雄汇报了基于Flink和ClickHouse的实时数据系统的实践。腾讯看点作为一个拥有万亿条/天实时数据的系统，对于数据分析平台的需求非常严苛。在这个报告中，王展雄针对实时计算引擎和实时数据仓库进行了详细的介绍，以及腾讯看点实时数据分析系统目前面临的痛点和解决方案。 在实时数据分析平台的调研中，王展雄指出当前的实时数据分析平台无法满足离线数据分析平台的要求，因此需要对方案进行选型和架构设计。针对实时数据分析系统中的实时计算引擎，王展雄介绍了业界常用的Flink、Spark Streaming和Storm等引擎的优缺点。他指出，Flink在准确性、容错机制、延时吞吐量以及易用性方面都具备较大优势，特别是在Exactly-once语义和轻量级快照的支持上。相对而言，Spark Streaming和Storm在这些方面表现不及Flink。因此，腾讯看点选择了基于Flink的实时数据分析系统。 在实时数仓方面，王展雄介绍了业界常用的大规模数据处理架构的灵活性。他提到，实时数仓的灵活性对于处理万亿条/天的实时数据至关重要。在这个背景下，腾讯看点基于ClickHouse搭建了实时数仓，以满足系统对于大规模数据处理的需求。 同时，王展雄也提到了腾讯看点实时数据分析系统的痛点。比如，运营、审核、作者等不同角色需要针对不同的需求进行实时数据分析，但现有系统无法满足这些需求。例如，运营可能需要了解不同人群的推荐效果，而审核可能需要按照举报数、曝光数降序的内容列表进行分析。针对这些痛点，王展雄提出了解决方案，并介绍了腾讯看点正在进行的项目工作，包括调研实时数据分析平台、方案选型和架构设计等。 总的来说，腾讯看点的实时数据分析系统在处理万亿条/天的实时数据方面面临着巨大的挑战，但通过选用Flink作为实时计算引擎和基于ClickHouse构建实时数仓，系统已经取得了一定的进展。同时，腾讯看点也正在积极探索更好的方案来解决实时数据分析系统的痛点，以满足不同角色的需求。在未来，随着实时数据分析技术的不断发展，相信腾讯看点的实时数据分析系统将会迎来更大的突破和进步。