"大数据平台集群整体规划和配置文档"

本文是一份大数据集群规划和配置文档，主要包括系统架构、物理环境架构、硬件资源需求、PAAS层需求等内容。 一、系统架构 在大数据平台集群整体规划中，我们采用了以下系统架构，以实现高效的大数据处理： 1. 数据采集层：负责数据的实时、批量采集，并将数据传输到数据存储层。 2. 数据存储层：负责存储大数据，并提供高可用、高性能的存储服务，提供多种存储模式供用户选择。 3. 数据计算层：负责对存储在数据存储层中的数据进行计算、分析和挖掘，提供各种计算模型和算法。 4. 数据展示层：负责将计算结果以可视化的方式展示给用户。 二、物理环境架构 2.1. 安装部署图 在物理环境架构中，我们安装并部署了大数据集群，具体部署图如下： +----+ | | |Node1| | | +----+ | | +-----------------------+ | | +-----+ +-----+ | | | | |Node2| |Node3| | | | | +-----+ +-----+ | | +-----------------------+ | | +----+ | | |Node4| | | +----+ 2.2. 硬件资源需求 我们采用高配服务器虚拟化的方式搭建了大数据集群，具体服务器硬件信息如下： - 类型：物理机 - 数量：4台节点 - CPU：64核 - 内存：128G - 系统盘：2T - 数据盘：32T 2.3. PAAS 层需求 在PAAS层需求中，我们有一些特定的要求和组件版本，具体如下： 2.3.1. Linux 操作系统要求 - 系统版本：Centos7.1及以上 2.3.2. 组件要求 - JDK版本：1.8.0 - 环境描述：Node1、Node2、Node3、Node4 - Node1组件版本：jdk-8u371-linux-x64.tar.gz - Node2组件版本：jdk-8u371-linux-x64.tar.gz - Node3组件版本：jdk-8u371-linux-x64.tar.gz - Node4组件版本：jdk-8u371-linux-x64.tar.gz - Base环境：gcc4.8.5 - 软件安装后需增加的依赖的包如下： - k8s1.2 - 7.4 - yum install -y kubectl kubeadm kubelet - MySQL版本：5.7.41 - common、libs、client、server版本：Y 计算节点的组件和版本如下： - Doris-FE版本：1.2.4 - Doris环境：Doris-B - Dinky版本：0.7.3 以上是大数据集群规划和配置文档的主要内容。通过对系统架构、物理环境架构、硬件资源需求和PAAS层需求的描述，我们可以进行大数据集群的规划和配置工作，以实现高效的大数据处理和分析。