MPP到Spark迁移实战：挑战、解决方案与自动化工具

本文主要介绍了eBay团队从MPP数仓迁移至Spark平台的实际案例、遇到的问题、解决方案以及最佳实践。演讲者分享了他们的经验，包括优化Spark SQL的方法，以及他们开发的自动化迁移框架，该框架能帮助加速从MPP数据库到Spark的迁移过程。 在MPP（大规模并行处理）数仓向Spark迁移的过程中，团队面临了多种挑战，如字符集兼容性问题、数字进位问题、内存溢出（OOM）等。通过对这些问题的解决，团队深入了解了Spark与传统关系型数据库管理系统（RDBMS）之间的差异。对于Spark目前不支持的递归查询（recursive query），他们也进行了可行性探索。此外，他们现在专注于开发一套自动化工具，包括SQL转换器，以减轻迁移工作的复杂性。 演讲内容涵盖了以下几个关键点： 1. **背景**：由于更复杂的大型数据处理需求，如流处理、图计算和机器学习，以及对极致性能优化的需求，团队选择了将数据仓库（DW）处理引擎从MPP转向Spark。 2. **集成数据层**（Integrated Data Layer）：eBay的架构包含多个层次，如ZETA层、ODS层、元数据服务、实时数据服务和批处理服务，这些都基于Spark集群环境运行，其中包括大量的节点和存储容量。 3. **最佳实践和用例**：团队在SparkSummit上分享了他们的经验和成果，包括优化Spark SQL以适应迁移后的环境，以及构建自动迁移框架，这个框架在2018年的Spark峰会上被提及。 4. **为什么要迁移到Spark**：Spark提供了处理更复杂大数据任务的能力，同时具备流处理、图计算和机器学习等功能，且在性能优化方面有显著优势，适合作为大数据处理的中心引擎。 通过这次分享，团队希望对正在进行或计划进行类似迁移工作的工程师们提供宝贵的经验和指导，帮助他们避免或有效应对迁移过程中可能遇到的困难。他们对社区的贡献，包括反馈和bug修复，体现了他们在解决技术挑战上的积极态度和专业能力。