大数据Druid集群搭建详解与实战配置

本文档详细介绍了如何在大数据环境下搭建Druid集群进行实时分析，特别关注于解决网络上的部署问题，并分享了作者的实践经验。以下是构建过程中涉及的关键知识点： 1. **环境准备**： - 使用3台4核8GB内存、100GB磁盘的ECS服务器作为主节点，以及2台3核2GB内存、2个500GB数据盘的ECS服务器作为从节点。 - 所有节点需要安装最新的Druid版本（imply-2.4.8）以及JDK 1.8和Node.js。 2. **Druid配置**： - 在`conf/druid/_common/common.runtime.properties`文件中，扩展了Druid的功能，包括MySQL存储配置信息，通过设置`Extensions`属性指定使用`druid-examples`、`druid-kafka-eight`和`mysql-metadata-storage`。 - 配置Zookeeper服务连接信息，使用多台Zookeeper服务器以提高高可用性，连接地址为192.168.167.170、192.168.167.171和192.168.167.173。 - 数据库相关配置，使用MySQL作为元数据存储，包括数据库名`druid`、用户名`druid`和密码`druid@123`。存储类型设置为`mysql`，`connector.connectURI`指定了数据库连接的URL。 3. **Segment存储**： - Druid使用Deepstorage来保存Segments（数据切片）和索引任务日志，如果在集群环境中，可能需要将存储目录设置为网络共享目录`var/druid/segments`。对于本地存储，这通常是可行的，但在网络环境中的集群部署中，可能会遇到额外的网络同步和访问挑战。 4. **注意事项**： - 文档指出，当前的Druid版本`mysql-metadata-storage`可能存在兼容性问题或限制，因此在实际操作时需确保所使用的Druid版本与MySQL存储插件兼容。 5. **实践验证**： - 作者提到这些配置是经过亲自测试的，因此可以提供一定的可靠性，但读者在实际应用时仍需根据自身环境进行调整和验证。 本文档提供了一个基础的大数据Druid集群搭建指南，帮助读者理解如何配置Druid以适应大规模实时数据分析场景，尤其是在处理复杂环境下的集群部署和数据存储。在迁移和实施过程中，务必根据具体需求和环境进行必要的配置修改。