Apache Kyuubi 1.5.2版本发布,多租户数据湖查询新特性

需积分: 5 0 下载量 47 浏览量 更新于2024-10-30 收藏 161.84MB TGZ 举报
资源摘要信息:"Apache Kyuubi是一个为数据湖查询引擎提供SQL等查询服务的分布式和多租户网关。它支持多种数据湖查询引擎,如Spark、Flink或Trino等。Kyuubi的主要功能特性包括多租户、高可用和多工作负载。多租户特性通过统一的身份验证授权层提供端到端的多租户支持,包括资源获取、数据和元数据访问。高可用特性则基于ZooKeeper实现负载均衡,提供企业级的高可用性和无限的客户端高并发。多工作负载特性允许Kyuubi通过一个平台、一个数据副本和一个SQL接口支持多种不同的工作负载。Kyuubi的使用场景包括交互式分析和批数据处理。交互式分析场景下,Kyuubi可以构建企业级分析平台,支持JDBC和ODBC接口,可直接通过SQL或BI工具访问并高效运行查询。批数据处理场景下,Kyuubi提供SQL接口用于常见的批处理,支持众多数据源,支持在连接级别隔离后台引擎实例。" Apache Kyuubi的多租户特性主要是为了支持在多个租户之间共享同一套资源和服务,同时保证数据和访问的安全性。每个租户在逻辑上是隔离的,但是实际上可以共享物理资源,从而提高资源的利用率和降低成本。 Kyuubi的高可用特性基于ZooKeeper实现。ZooKeeper是一个开源的分布式协调服务,用于维护配置信息、命名、提供分布式同步和提供组服务等。Kyuubi利用ZooKeeper实现负载均衡,可以在多个Kyuubi实例之间分配查询请求,从而提高系统的可用性和可靠性。 Kyuubi的多工作负载特性主要体现在其支持多种不同的工作负载,包括交互式分析和批数据处理。这使得Kyuubi可以在同一个平台上支持多种不同的应用场景,提高了系统的灵活性和扩展性。 Kyuubi的交互式分析场景主要是针对大数据的交互式可视化分析。Kyuubi支持JDBC和ODBC接口,用户可以通过SQL或BI工具来访问Kyuubi并运行查询。Kyuubi在用户级别缓存后台引擎实例,实现了计算资源共享和快速响应,能够并行处理大量数据的查询并快速返回结果。 Kyuubi的批数据处理场景主要是针对ETL过程。Kyuubi提供了SQL接口用于批处理,支持众多的数据源。Kyuubi在连接级别隔离后台引擎实例,实现了数据处理的高并发和高效性。 总的来说,Apache Kyuubi是一个功能强大的分布式和多租户网关,主要面向数据湖查询引擎,支持多种数据湖查询引擎,具有多租户、高可用和多工作负载特性,适用于多种大数据处理场景。