Apache Kyuubi (Incubating)：Serverless SQL on Lakehouse

"Apache Kyuubi (Incubating) 是一个基于Apache Spark的多租户、高性能的Hive Server 2-like服务，旨在提供一种无服务器化的方式运行Spark，支持SQL查询在湖仓一体环境中的多种场景应用。该项目由网易数帆的姚琴(Kent Yao)发起，并且他也是Apache Kyuubi的PPMC成员和Apache Spark及Apache Submarine的Committer。" Apache Kyuubi (Incubating) 是一个开源项目，它提供了类似于Hive Server 2的接口，但其核心是构建在Apache Spark之上，旨在解决Spark Thrift Server的一些已知问题，如服务与计算引擎的耦合、单应用模式、资源隔离不足、单一Driver导致的性能瓶颈、SQL编译和DAG调度的问题、单租户模式、数据安全性缺失以及客户端并发限制等。 Kyuubi 的主要特点包括： 1. **服务与计算引擎解耦**：Kyuubi将服务层与计算引擎分离，允许更灵活的扩展和管理。 2. **多租户支持**：Kyuubi支持多用户和多应用，每个用户或应用都可以拥有独立的会话，实现资源的隔离。 3. **高可用性**：Kyuubi通过设计来确保服务的高可用性，避免单点故障。 4. **资源管理**：Kyuubi允许对不同的引擎（如Spark）进行单独配置，包括资源队列，从而优化资源分配和利用率。 5. **多种接入方式**：用户可以通过Thrift JDBC/ODBC连接到Hive生态，也可以通过REST API进行统一提交服务，甚至可以利用MySQL协议连接传统的数据库生态。 6. **后端引擎支持**：除了Spark SQL，Kyuubi还计划支持Flink SQL，未来可能支持更多数据处理引擎。 7. **大数据场景应用**：Kyuubi适用于各种大数据应用场景，包括ETL、BI报表、数据湖分析（如Delta Lake、Apache Hudi、Iceberg）等。 8. **安全特性**：Kyuubi考虑了数据安全，提供了相应的安全措施以保护数据不被未经授权的访问。 Kyuubi的项目地址是：https://github.com/apache/incubator-kyuubi，用户和开发者可以在该平台上获取最新代码、参与讨论和贡献代码。 通过Kyuubi，用户可以享受到更加高效、稳定和安全的SQL on Spark体验，同时充分利用Spark的计算能力，进行大规模的数据处理和分析任务。对于企业来说，Kyuubi是一个强大的工具，能够帮助企业构建健壮的数据服务基础设施，满足日益增长的大数据分析需求。