滴滴KYLIN：自助式治理与演进探索

"滴滴KYLIN__自助式治理与演进之路.pdf" 是一篇关于滴滴出行在使用Apache Kylin进行大数据在线分析处理(OLAP)过程中，如何实现平台的自助式治理与持续演进的文章。文章由技术专家靳国卫分享，主要涵盖了平台架构、字典改造和服务治理等方面。 01 平台架构与数据展示 滴滴KYLIN的平台架构包含了多个集群，如kylin1、kylin2、kylin3和kylin4，以及与Spark和Presto等其他大数据处理工具的集成。平台服务于多种产品线，如快车、专车、代驾等，并支持自动化运维，包括集群管理、建模、资源隔离、智能调度和版本管理。元数据中心和查询中心确保了数据的有效管理和高效访问。平台处理大量数据，包括数千个构建任务、数万个HBase表和数百TB的数据量。 02 服务治理 滴滴对KYLIN的服务治理着重于开放平台的优化。集群采用docker化，实现了集群和节点的配置化伸缩，支持动态伸缩以应对不同的服务需求。集群负载配置可以根据实际状态动态调整，并且能进行集群间的流量动态迁移。主备模式通过status节点的Active/Standby实现，保证了服务的高可用性。此外，配置中心、请求队列和开放平台的用户集群关系管理，使得流量管理和服务请求更加智能化。 03 字典改造 字典改造是文章中的一个重要部分，滴滴引入了全域字典以适应业务场景。在用户价值分析、乘客分析、业务形态分析等业务流程中，字典起到了关键作用。字典数据存储在HDFS上，通过BuildDimensionDictionary进行构建，并用于BuildBaseCuboid，优化了数据处理效率。字典的圈定用户功能使得数据分析更加精准，提高了数据的价值。 滴滴KYLIN的自助式治理与演进之路展示了如何通过优化平台架构、服务治理和字典管理来提升大数据处理的效率和灵活性，以满足复杂业务需求和大规模数据分析的挑战。这一实践对于其他企业的大数据平台建设具有重要的参考价值。