美图实践：Presto高性能引擎提升多维分析性能与架构优化

在美图公司，高效的数据处理能力对于支撑其业务至关重要。2021年5月29日，在DataFunSummit架构峰会上，技术专家余谦分享了Presto高性能引擎在美图的具体实践和应用。Presto作为一种分布式SQL查询引擎，因其查询速度快、系统负载低和良好的标准SQL支持而被选为关键技术之一。 Presto在美图的实践中，主要贡献在于提升集群算力、优化架构以及基础组件的二次研发。余谦负责的工作涵盖了对Hadoop、Spark、Hive和Presto等大数据组件的改造，尤其关注如何通过Presto实现更灵活的多维分析（ROLAP），如支持实时数据导入与分析、各种维度的聚合查询。然而，Presto也存在一些挑战，如内存资源需求较大、大数据量下性能可能下降，且查询大任务时可能面临shuffle或OOM问题。 与Hive on Spark和Impala等其他技术进行对比，Presto在查询速度、系统易用性和社区活跃度等方面具有明显优势，尤其是在单表查询和多表关联时表现出色。然而，它也存在缺点，如主节点缺乏高可用（HA）机制，如果协调器（Coordinator）出现问题可能导致整个集群不可用，并且对数据量的敏感性较高，大规模数据查询可能会降低性能。此外，对用户自定义函数的支持和对CDH生态的依赖也是Presto选择过程中的考量因素。 在技术选型方面，美图综合考虑了各个技术的优缺点，最终决定在内部广泛应用Presto，尽管它在某些场景下可能不如其他竞品快，但整体上能满足公司的性能需求和灵活性。未来的发展方向中，美图将继续关注跨集群调度的改进，尤其是解决Coordinator HA的单点问题，以降低集群升级维护的风险。 总结起来，Presto在美图的成功实践主要体现在其高效查询能力、系统稳定性以及对复杂数据分析的支持，但在持续优化过程中也需要平衡性能和资源消耗，确保系统的长期稳定运行。通过不断的技术迭代和优化，美图正在利用Presto这一高性能引擎推动业务的智能化发展。