"深入解析尚硅谷大数据技术之Druid1架构与设计原则"

尚硅谷大数据技术之Druid(作者：尚硅谷大数据研发部)版本：V1.0 第 1 章 初识 Druid 1.1 什么是 Druid Druid 是一个分布式的支持实时分析的数据存储系统（Data Store）。美国广告技术公司MetaMarkets 于 2011 年创建了 Druid 项目，并且于 2012 年晚期开源了 Druid 项目。Druid设计之初的想法就是为分析而生，它在处理数据的规模、数据处理的实时性方面，比传统的OLAP 系统有了显著的性能改进，而且拥抱主流的开源生态，包括 Hadoop 等。多年以来，Druid 一直是非常活跃的开源项目。Druid 的官方网站是 http://druid.io。另外，阿里巴巴也曾创建过一个开源项目叫作 Druid（简称阿里 Druid），它是一个数据库连接池的项目。阿里 Druid 和本问讨论的 Druid 没有任何关系，它们解决完全不同的问题。 1.2 Druid 的三个设计原则 快速查询（Fast Query）：部分数据的聚合（Partial Aggregate） 内存化（In-emory） 索引（Index）。 水平扩展能力（Horizontal Scalability）：Druid 的多节点布局是水平无阻塞扩展的。查询和摄入都可以水平扩展。 容错（Fault Tolerance）：Druid 节点的故障不会影响集群的正常运作。但是要留意的是，Druid不具有数据复制和高可用(HA)，在节点故障的情况下，依赖 Hadoop 的 Jobtracker 实现 HG和数据的容错。 第 2 章 Druid 的架构 Druid 总体包含以下 5 类节点： 中间管理节点（middleManager node）：及时摄入实时数据，已生成 Segmen 深入理解架构的每个节点： 1.1 MiddleManager Node MiddleManager Node 负责实时数据的接收、处理生成Segment file。 1.2 Broker Node Broker负责将查询请求路由到相应的Historical 或 Realtime Node 1.3 Query Node Query Node 接收Broker 路由后的查询请求，并根据请求分发到相关的 Historical 和 Realtime Node 1.4 Historical Node Historical Node 负责存放Segment files，接收来自Broker的查询。 1.5 Coordinator Node Coordinator Node 是Druid 集群的管理节点，负责数据的管理，包括加载/删除数据，将对数据段的查询转发给正确的Historical Node Druid 是一个非常强大的大数据技术，其架构设计融合了快速查询、水平扩展能力和容错特性，使得其在实时分析领域具有很高的性能和稳定性。希望本章节的内容可以帮助读者更加深入地理解Druid的架构设计和节点功能，为日后的应用和优化提供参考和指导。