中国移动云实践：Kyuubi在8-6环境中实现移动Lakehouse JDBC服务

"《8-6+Kyuubi在移动云的实践》是一篇由中国移动云能力中心于2021年11月发布的关于Apache Kyuubi在移动云环境中的实际应用案例研究。该文章主要探讨了如何在移动云环境下实现高效、安全的数据湖解决方案，特别关注Kyuubi在提供 JDBC 功能、服务架构设计、多租户支持以及资源管理和安全等方面的应用。 背景部分阐述了移动云Lakehouse的需求，由于需要提供 JDBC 接口，传统的Spark Thrift Server已不足以满足要求。因此，引入了Apache Kyuubi作为替代方案，它不仅提供了更好的SQL支持，还能处理并发请求，并且具备水平扩展的能力。 文章详细介绍了Kyuubi的整体架构，分为四大部分：服务提供层，包括Kyuubi提供JDBC连接；管理服务层，如Jobmanager、Resource Manager和LogManager分别负责任务管理、资源分配和日志审计；计算引擎用于OLAP查询和数据迁移；数据存储则基于HDFS和移动云EOS对象存储，兼容Hive和Hudi格式。 Kyuubi-on-Cloud的实现特别关注了安全性，支持AccessKey和SecretKey认证授权，同时严格控制资源访问，用户不能自定义引擎参数，资源统一由Lakehouse资源调度器管理。在SQL处理方面，文章提到了SQL解析、拦截和动态对象存储信息加载，确保了数据处理的准确性和效率。 为了保证服务的高可用性和性能，文章介绍了Kyuubi在Kubernetes上的部署策略，包括使用Helm3管理服务、Deployment部署Kyuubi server、LoadBalancer Service实现负载均衡以及使用etcd进行服务发现，避免了对ZooKeeper的依赖。 最后，文章还讨论了与Trino的集成，表明Kyuubi在移动云环境中不仅能够作为独立的解决方案，也能与其他数据分析工具无缝协作。 《8-6+Kyuubi在移动云的实践》深入剖析了Kyuubi在移动云环境中的应用实践，展示了如何利用其强大的功能和架构设计来提升数据湖服务的质量和可靠性，为移动云平台的数据分析和处理提供了有价值的参考案例。"