Ubuntu 18.04.6 Hadoop一键部署教程:涵盖多种IT组件
需积分: 5 42 浏览量
更新于2024-08-05
收藏 4KB MD 举报
仓湖一体化一键部署笔记是一份针对Ubuntu 18.04.6系统的大数据部署指南,主要关注于如何快速高效地安装和配置一系列关键的大数据组件。这个脚本涵盖了以下主要知识点:
1. **软件安装列表**:
- JDK 1.8.0_144: 作为Java开发的基础环境,用于Hadoop的运行。
- Hadoop 2.7.2: 高性能分布式计算框架,用于存储和处理大量数据。
- ZooKeeper 3.4.10: 一个分布式协调服务,用于集群管理。
- Flume 1.7.0: 一个数据收集系统,用于日志和监控数据的传输。
- Kafka 2.11: 分布式流处理平台,支持实时数据处理。
- Hive 2.3.6: 数据仓库工具,提供SQL查询接口。
- MySQL 5.6.24 (早期版本)或Zabbix集成的MySQL 5.7: 数据库管理系统,用于存储元数据。
- Sqoop 1.4.6: 大数据交互工具,支持数据在Hadoop和关系数据库之间迁移。
- Azkaban 2.5.0: 项目管理平台,用于工作流自动化。
- Presto 0.19.6: 分析型SQL引擎,适合在线分析处理。
- Imply 2.7.10 (Druid): 实时数据分析工具。
- Kylin 2.5.1: 大数据商业智能解决方案。
- HBase 1.3.1: NoSQL列族存储系统。
- Solr 5.2.1: 高性能全文检索服务。
- Atlas 0.8.4: 数据资产图谱平台,用于数据治理。
- Zabbix-Agent 4.2.8: 监控代理,与Zabbix服务器配合实现基础设施监控。
- Superset、Zabbix-Server、Zabbix-Web: 分别是数据可视化工具、服务器端组件和Web界面,采用Docker部署。
2. **安装过程**:
- 使用U盘复制`archives`文件夹到每台机器的主目录,其中包含了基本的软件包如Python、Expect、OpenSSH Server、Apache2、Vim和net-tools,以及其他可能需要的deb包。
- 修改`/etc/apt/sources.list`文件,添加本地软件仓库。
- 更新软件包列表并安装必要的基础软件包,如Python、net-tools等。
- 安装Hadoop及其依赖项。
- 查看机器的局域网IP地址,确保网络连接正常。
3. **依赖性与结构**:
- 一键部署脚本依赖于三个文件夹:lake_script包含所有部署步骤的shell脚本,software存放所有需要安装的软件压缩包,而archives则预先下载好一些常用的deb包,用于构建本地软件源。
这份文档提供了详尽的部署步骤和所需环境,对于在Ubuntu 18.04.6环境下搭建和配置大数据生态系统具有很高的实用价值。它强调了自动化和效率,有助于简化IT团队在大数据平台上进行大规模部署的工作流程。
2013-08-19 上传
2024-05-27 上传
2023-05-20 上传
2023-11-08 上传
2023-11-28 上传
2023-03-31 上传
2023-08-10 上传
2023-12-22 上传
Bit°
- 粉丝: 1
- 资源: 1
最新资源
- 掌握Jive for Android SDK:示例应用的使用指南
- Python中的贝叶斯建模与概率编程指南
- 自动化NBA球员统计分析与电子邮件报告工具
- 下载安卓购物经理带源代码完整项目
- 图片压缩包中的内容解密
- C++基础教程视频-数据类型与运算符详解
- 探索Java中的曼德布罗图形绘制
- VTK9.3.0 64位SDK包发布,图像处理开发利器
- 自导向运载平台的行业设计方案解读
- 自定义 Datadog 代理检查:Python 实现与应用
- 基于Python实现的商品推荐系统源码与项目说明
- PMing繁体版字体下载,设计师必备素材
- 软件工程餐厅项目存储库:Java语言实践
- 康佳LED55R6000U电视机固件升级指南
- Sublime Text状态栏插件:ShowOpenFiles功能详解
- 一站式部署thinksns社交系统,小白轻松上手