"Hudi湖仓一体技术在Shopee的实践与展望"

基于Hudi湖仓一体研究报告 1. Shopee数据系统建设中面临的典型问题 在Shopee的数据平台建设过程中，我们面临了一些典型问题。首先，我们想要构建一个流批一体的数据集成系统，以满足数据一致性、链路冗余和批处理数据时效性差等问题。其次，我们需要存储状态表来解决存储浪费、无法增量计算和难以提供状态变化明细等问题。最后，我们还需要实现大宽表构建，以支持Ad-hoc类OLAP查询，并解决多源计算和列级拼接等问题。 2. 为什么选择Hudi 在解决这些问题时，我们选择了基于Hudi的湖仓一体技术。Hudi是一种高性能的数据湖解决方案，具有快速的增量计算能力和强大的数据一致性保证。它能够有效处理实时计算和批量处理的数据，并提供可靠的状态表存储和增量计算功能。此外，Hudi还提供了多源计算和列级拼接等功能，非常适合我们的业务需求。 3. Shopee在Hudi落地过程中的相关实践 在将Hudi技术应用于Shopee的数据系统中，我们进行了一系列相关实践。首先，我们对Hudi进行了深入的研究和评估，确保其能够满足我们的需求。然后，我们进行了技术调研和原型开发，并进行了性能测试和压力测试，以保证系统的稳定性和可靠性。最后，我们在生产环境中进行了试点，不断优化和迭代，逐步扩大应用范围。通过这些实践，我们成功地将Hudi技术应用于Shopee的数据系统中，取得了显著的效果。 4. 未来展望 对于未来，我们对基于Hudi的湖仓一体技术在企业数据处理领域的发展充满了期待。我们相信，随着技术的不断进步和应用的推广，Hudi湖仓一体技术将在实时计算和批量处理等方面发挥越来越重要的作用。我们将继续深入研究和应用Hudi技术，不断探索和创新，在Shopee的数据系统建设中取得更加显著的成果。 个人简介 邓林，Shopee Data Infra的实时计算平台负责人。我目前主要从事基于Flink的实时计算平台的建设工作，并在大数据行业已有10年的工作经验。在过去的工作中，我曾参与离线任务调度系统和数据Ingestion系统的建设，对流式数据处理有着丰富的经验。我也见证了Hadoop三件套在企业数据平台领域的强势崛起，对于流批一体融合，并结合湖仓一体技术对企业数据处理的再一次革新有非常大的兴趣。我相信，在Hudi的湖仓一体技术的引领下，Shopee的数据系统将会更加强大和高效。