ESXi 6.5+CentOS 7.5:大数据平台一站式搭建教程
需积分: 26 28 浏览量
更新于2024-09-07
1
收藏 6.55MB DOCX 举报
本文档详细介绍了如何在CentOS 7.5环境下搭建一个分布式平台,包括使用ESXi 6.5创建和管理虚拟机、安装关键组件如Kubernetes 1.13、Docker 18.09.5、JDK 1.8_131、SSH 7.4、etcd 3.3.10、Flannel 0.10.0、TOMCAT 8、Mysql 5.6、Ambari 2.7、HDP 3.0以及与之相关的其他技术栈,如Elasticsearch 6.5.1、Kibana 6.5.1、Logstash 6.5.1、Neo4j 3.4、ESXi 6.5、Maven 3.6等。以下是部分内容概述:
1. **ESXi 6.5虚拟机管理**:首先,作者指导读者在ESXi 6.5中创建CentOS 7.5虚拟机,包括上传ISO镜像、设置虚拟机配置(如CPU、内存、硬盘大小),以及如何克隆虚拟机。
2. **基础环境安装**:
- 安装过程中涉及服务器配置,如安装CentOS 7.5、选择安装选项、语言设置、磁盘分区、系统时间同步等。
- 安装了SSH以实现免密登录,并确保系统安全,如安装JDK、Maven等开发工具。
- 安装MySQL,提供离线和在线两种安装方式,包括设置root密码、自启动、安全设置等。
3. **集群管理工具**:
- 安装和配置Ambari 2.7,用于管理和监控Hadoop Distributed Platform (HDP) 3.0,包括服务安装、时间同步、IP映射、SSH免密等。
- 集成了Elasticsearch 6.x,包括源码部署、配置、跨域访问设置和IK分词器安装。
- 安装Neo4j 3.4,用于图形数据库,并配置文件解释。
4. **容器化技术**:
- Docker的安装和配置,包括在线安装、RPM和二进制文件安装,以及与Kubernetes的集成准备。
- Kubernetes集群搭建涉及到服务器规划、环境变量设置、CA证书创建、ETCD集群配置和Kubernetes服务部署。
5. **其他组件**:
- HDFS、Kafka、Spark 2.x、YARN的安装与优化。
- Logstash的配置以同步Elasticsearch和MySQL数据,以及SpringBoot和SpringCloud的集成。
6. **故障排查与注意事项**:
- 提供了异常处理指南和一些常见问题的解决方法,如Ambari Metrics、Hbase rootdir路径问题,以及Atlas集成可能遇到的问题。
这份文档是一份详尽的指南,适合在CentOS 7.5环境中搭建一个包含多种技术栈的分布式平台,从底层基础设施到上层应用和服务的集成都有所涉及。
2018-12-27 上传
2020-05-12 上传
2019-12-30 上传
2021-02-17 上传
2019-07-17 上传
2020-06-06 上传
2021-11-17 上传
2023-10-08 上传
juzhong0521
- 粉丝: 3
- 资源: 19
最新资源
- 探索数据转换实验平台在设备装置中的应用
- 使用git-log-to-tikz.py将Git日志转换为TIKZ图形
- 小栗子源码2.9.3版本发布
- 使用Tinder-Hack-Client实现Tinder API交互
- Android Studio新模板:个性化Material Design导航抽屉
- React API分页模块:数据获取与页面管理
- C语言实现顺序表的动态分配方法
- 光催化分解水产氢固溶体催化剂制备技术揭秘
- VS2013环境下tinyxml库的32位与64位编译指南
- 网易云歌词情感分析系统实现与架构
- React应用展示GitHub用户详细信息及项目分析
- LayUI2.1.6帮助文档API功能详解
- 全栈开发实现的chatgpt应用可打包小程序/H5/App
- C++实现顺序表的动态内存分配技术
- Java制作水果格斗游戏:策略与随机性的结合
- 基于若依框架的后台管理系统开发实例解析