京东实战：PrestoDB提升大数据分析性能与应用场景

京东的数据库架构组由吕信分享了PrestoDB在京东的实际应用经验。PrestoDB起源于2012年Facebook针对Hive查询性能问题而发起的项目，旨在提供低延迟的分布式SQL查询引擎。PrestoDB在2013年被开源，截至当时已有56个贡献者。最新版本为Presto-0.100，支持交互式数据分析，能够在大规模数据集上运行，包括GB到PB级别的数据，且具有跨多个数据源的SQL语法支持。 PrestoDB的架构设计非常关键，它基于MySQL、PostgreSQL等关系型数据库，同时整合了HDFS、Cassandra、Kafka等非关系型存储，以及Hive元数据存储。查询执行流程涉及客户端发送请求，协调器构建查询计划，然后将任务分发给工作节点，工作节点根据计划读取数据并执行计算，最后结果通过一个或多个工作节点返回给客户端。举例来说，查询如`SELECT c1.first_name, count(*) FROM employees c1 JOIN employees c2 ON c1.emp_no = c2.emp_no WHERE c1.emp_no > 10 GROUP BY c1.first_name LIMIT 10`在PrestoDB中得到了高效执行。 京东在PrestoDB上的应用广泛，覆盖了10GB至12个实际业务场景的性能测试，这些测试旨在验证PrestoDB在处理大规模数据和复杂查询时的性能优势。与传统的Hive或其他数据库进行过对比，PrestoDB显示出显著的性能提升，这使得京东能够更快速地获取分析结果，提升决策效率。 京东的持续研发工作聚焦于优化PrestoDB以适应京东特定的业务需求，包括定期的数据同步、SQL支持的扩展以及对不同数据源的高效整合。通过实践证明，PrestoDB已经成为京东大数据处理的重要工具，不仅提高了查询速度，也降低了维护成本。