Ubuntu 18.04.6 Hadoop一键部署教程：涵盖多种IT组件

仓湖一体化一键部署笔记是一份针对Ubuntu 18.04.6系统的大数据部署指南，主要关注于如何快速高效地安装和配置一系列关键的大数据组件。这个脚本涵盖了以下主要知识点： 1. **软件安装列表**： - JDK 1.8.0_144: 作为Java开发的基础环境，用于Hadoop的运行。 - Hadoop 2.7.2: 高性能分布式计算框架，用于存储和处理大量数据。 - ZooKeeper 3.4.10: 一个分布式协调服务，用于集群管理。 - Flume 1.7.0: 一个数据收集系统，用于日志和监控数据的传输。 - Kafka 2.11: 分布式流处理平台，支持实时数据处理。 - Hive 2.3.6: 数据仓库工具，提供SQL查询接口。 - MySQL 5.6.24 (早期版本)或Zabbix集成的MySQL 5.7: 数据库管理系统，用于存储元数据。 - Sqoop 1.4.6: 大数据交互工具，支持数据在Hadoop和关系数据库之间迁移。 - Azkaban 2.5.0: 项目管理平台，用于工作流自动化。 - Presto 0.19.6: 分析型SQL引擎，适合在线分析处理。 - Imply 2.7.10 (Druid): 实时数据分析工具。 - Kylin 2.5.1: 大数据商业智能解决方案。 - HBase 1.3.1: NoSQL列族存储系统。 - Solr 5.2.1: 高性能全文检索服务。 - Atlas 0.8.4: 数据资产图谱平台，用于数据治理。 - Zabbix-Agent 4.2.8: 监控代理，与Zabbix服务器配合实现基础设施监控。 - Superset、Zabbix-Server、Zabbix-Web: 分别是数据可视化工具、服务器端组件和Web界面，采用Docker部署。 2. **安装过程**： - 使用U盘复制`archives`文件夹到每台机器的主目录，其中包含了基本的软件包如Python、Expect、OpenSSH Server、Apache2、Vim和net-tools，以及其他可能需要的deb包。 - 修改`/etc/apt/sources.list`文件，添加本地软件仓库。 - 更新软件包列表并安装必要的基础软件包，如Python、net-tools等。 - 安装Hadoop及其依赖项。 - 查看机器的局域网IP地址，确保网络连接正常。 3. **依赖性与结构**： - 一键部署脚本依赖于三个文件夹：lake_script包含所有部署步骤的shell脚本，software存放所有需要安装的软件压缩包，而archives则预先下载好一些常用的deb包，用于构建本地软件源。 这份文档提供了详尽的部署步骤和所需环境，对于在Ubuntu 18.04.6环境下搭建和配置大数据生态系统具有很高的实用价值。它强调了自动化和效率，有助于简化IT团队在大数据平台上进行大规模部署的工作流程。