网易数帆开源企业级Serverless Spark框架Kyuubi：突破运维挑战

《Kyuubi：开源企业级Serverless Spark框架》是由网易数帆的大数据专家姚琴在网易数帆技术沙龙上分享的主题。背景是针对网易集团每天大量运行的Spark任务，对服务端运维和优化提出了严峻挑战。为了解决这个问题，网易数帆开发并开源了Kyuubi，一个旨在为企业级环境提供Serverless Spark服务和数据湖探索的框架。Kyuubi的初衷是让业务团队可以直接利用前沿技术，而无需关心底层架构和技术选择。 Kyuubi的发展历程始于内部开发，最初是为了支持多租户Spark应用，特别是针对BI场景设计。2018年，Kyuubi作为一个实验项目首次开源，尽管存在一些局限性，但因其灵活性和实用性得到了认可。然而，随着Spark 0.x版本的结束，Kyuubi团队意识到需要进行未来证明的设计，因此在2019年引入了新设计，扩展了对ETL和更广泛工作负载的支持，同时也开始考虑引入更多贡献者。 在2020年，Kyuubi进行了重大重构，设计了一个分布式、多租户的Thrift JDBC/ODBC服务器，基于Apache Spark，旨在支持更多的数据处理引擎，如Flink。这种设计使得Kyuubi能够提供三种不同的Spark服务模式：低门槛（类似EMR）、中等复杂度（EMR类似的部署）以及高阶的Serverless体验（通过Kyuubi本身实现）。 Kyuubi的核心价值在于它将Apache Spark封装为一种易于使用的服务，使得开发者能够专注于业务逻辑，而不必担心底层资源管理和配置。通过Kyuubi，企业可以轻松地迁移现有的Hive数据到Spark，同时也能在YARN或Kubernetes上运行Spark任务。2021年，Kyuubi进入了Apache Incubator阶段，这意味着它正在接受社区的更广泛评估和采纳，为未来的标准化和推广奠定了基础。 总结来说，Kyuubi是网易数帆为应对大规模Spark使用场景而开发的开源框架，它通过Serverless方式简化了Spark的部署和使用，支持多租户和多种数据处理引擎，致力于为企业提供高效、灵活的数据处理和分析解决方案。