大数据平台一键安装：脚本自动化部署OS与HDP

142 浏览量更新于2024-08-31 2 收藏 94KB PDF 举报

"本文主要介绍了如何在大数据平台中利用脚本实现一键安装定制的操作系统，包括服务端和客户端的OS。文中提供了脚本源码，并详细解释了脚本的功能和工作原理。" 在大数据平台的建设中，快速、高效地部署操作系统是关键步骤之一。本文分享了一种通过脚本实现这一目标的方法，尤其适合大规模集群环境中的自动化部署。脚本主要用于简化和自动化操作系统的安装过程，减少人工干预，提高效率。首先，我们来看两个关键脚本： 1. `create_local_yum.sh`: 这个脚本的主要任务是创建本地YUM源。它将ISO镜像挂载到/mnt/vrv/目录，并更新/etc/yum.repos.d/下的配置文件，使系统能够从这个本地源安装软件。通过删除旧的repo文件并创建新的vrv.repo文件，脚本确保了系统只从挂载的ISO中获取软件包。此外，脚本还获取主机IP地址并将其与"os-manager"的主机名关联，以便于后续的网络通信。 2. `update_master.sh`: 此脚本则负责安装HTTP源，配置主节点以及设置NTP服务。它会将主机信息添加到/etc/hosts文件中，以确保网络通信的正确性。配置主节点可能涉及到安装必要的服务或软件，如Hadoop等，以使其能够协调整个集群。设置NTP服务是为了保持集群中所有节点的时间同步，这对于分布式计算和数据一致性至关重要。除了这两个脚本，还有其他可能的脚本，如安装JDK、MySQL和Ambari平台的脚本。这些组件在大数据平台中扮演着重要角色：JDK是运行Java应用的基础，如Hadoop和其他大数据处理框架；MySQL可能是用来存储元数据或者作为Hadoop的外部数据源；而Ambari则是一个用于管理和监控Hadoop集群的工具，它提供了一个用户友好的Web界面，使得集群的部署、配置和监控变得更加简单。在大数据平台搭建过程中，这样的自动化脚本大大提高了效率，减少了出错的可能性。对于Hadoop集群，通常还需要安装如HDFS、YARN、MapReduce等组件，这些可以通过类似的方式进行自动化处理。通过脚本化安装和配置，大数据平台的搭建变得更为标准化和可重复，有助于构建和维护大规模、高可用性的数据处理环境。

大数据平台使用搭建脚本一键安装大数据平台使用搭建脚本一键安装OS

本文给大家分享的是如何在大数据平台使用脚本来实现一键安装定制OS，并给大家附上了脚本源码，有需要的小伙伴可以参考下

搭建脚本篇搭建脚本篇

脚本命名随便，只要能看懂就行

镜像包说明

os1.1.iso 用于安装服务端和客户端操作系统

hdp.iso 用于安装hdp服务

1.架构图：架构图：

服务端服务端

客户端客户端

2.原理分析原理分析

安装系统安装系统-安装本地安装本地yum源源-安装安装http源源-安装并配置安装并配置ntp服务服务-配置秘钥配置秘钥-安装安装jdk-安装安装mysql-编译安装编译安装ambari平台平台

3.服务端脚本分析

（（1））create_local_yum.sh #安装本地安装本地yum 源源

#!/bin/bash

iso_path=/dev/sr0

echo "Iso file path is :" /dev/sr0

yum_path=/mnt/vrv/

echo 'Creating mount directory :' /mnt/vrv/

mkdir -p /mnt/vrv/

mount /dev/sr0 /mnt/vrv

echo 'Updating /etc/yum.repos.d/ files...'

rm -rf /etc/yum.repos.d/*

touch /etc/yum.repos.d/vrv.repo

echo "

[vrv-local]

name=vrv-local

baseurl=file:///mnt/vrv/

gpgcheck=0

enabled=1

" >> /etc/yum.repos.d/vrv.repo

yum clean all && echo 'yum repository has been updated!'

host_ip=`/sbin/ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:"`

echo "$host_ip os-manager" >>/usr/bin/os/hosts

#echo "$host_ip os-manager" >>/etc/hosts

（（2））update_master.sh #安装安装http源，配置主节点，配置源，配置主节点，配置ntp

#!/bin/bash

#往本机/etc/hosts添加hosts文件内容#############

#cat hosts >> /etc/hosts;

#echo "添加hosts到/etc/hosts文件完成";

host_ip=`/sbin/ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:"`

suffix_ip=${host_ip%.*}

suffix_ip=${suffix_ip%.*}

cd /mnt/vrv/Packages/

#rpm -ivh python-deltarpm-3.5-0.5.20090913git.el6.x86_64.rpm

yum -y install mkisofs vim httpd createrepo perl python bind-utils openssh-clients ntp vim wget unzip bind && chkconfig httpd on && mkdir -p /var/www/html/centos && mkdir -p /var/www/html/centos/Packages/Packages && mkdir -p /var/www/html/ambari/ && mkdir -p /var/www/html/vmp-extend/ && echo "拷贝文件中..." && cp -rf /mnt/vrv/Packages/* /var/www/html/centos/Packages/Packages/ && echo "拷贝文件完成，生成源中..." && createrepo /var/www/html/centos/Packages/Packages/ && rm -rf /etc/yum.repos.d/* && echo "http源拷贝完成，更新yum..."

cp -rf /mnt/vrv/system/* /var/www/html/

touch /etc/yum.repos.d/vrv-http.repo

echo "

[vrv-http]

name=vrv-http

baseurl=http://$host_ip/centos/Packages/Packages

gpgcheck=0

enabled=1

" >> /etc/yum.repos.d/vrv-http.repo

service httpd restart && chkconfig httpd on && yum clean all

echo "http 源已经配置完成"

echo "开始配置dns..."

echo "开始配置ntp..."

chkconfig ntpd on

#cp ntp.conf /etc/ntp.conf

# 写入ntp.conf文件

echo "

driftfile /var/lib/ntp/drift

restrict default kod nomodify notrap nopeer noquery

restrict -6 default kod nomodify notrap nopeer noquery

restrict 127.0.0.1

restrict -6 ::1

restrict $suffix_ip.0.0 mask 255.255.0.0 nomodify notrap

restrict 0.vrv.pool.ntp.org mask 255.255.255.255 nomodify notrap noquery

restrict 1.vrv.pool.ntp.org mask 255.255.255.255 nomodify notrap noquery

restrict 2.vrv.pool.ntp.org mask 255.255.255.255 nomodify notrap noquery

#server 210.72.145.44

server 127.127.1.0 # local clock

fudge 127.127.1.0 stratum 10

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

" > /etc/ntp.conf

service ntpd restart && echo "ntp 配置完成!"

ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

hwclock --systohc --localtime

## 配置 hdp yum####################

echo "开始配置ambari..."

mkdir -p /var/www/html/ambari/

mkdir -p /var/www/html/vmp-extend/

cp -rf /mnt/vrv/vrv/AMBARI-2.2.1.0/centos6/2.2.1.0-161/* /var/www/html/ambari/

cp -rf /mnt/vrv/vrv/vmp-extend-1.0/* /var/www/html/vmp-extend/

createrepo /var/www/html/vmp-extend/

createrepo /var/www/html/ambari/

# 写入文件

touch /etc/yum.repos.d/ambari.repo

touch /etc/yum.repos.d/vmp-extend.repo

echo "

下载后可阅读完整内容，剩余6页未读，立即下载

weixin_38695727

粉丝: 8
资源: 951

大数据平台一键安装：脚本自动化部署OS与HDP

hadoop全分布式-脚本一键安装

centos下的pptp搭建方法

大数据部署离线安装CDH操作指南（环境准备+Cloudera manager安装+CDH部署）

BAT脚本一键安装打印机

docker脚本一键安装.rar

nginx 脚本 一键安装流媒体

linux脚本一键安装redis任意版本

大数据【Hadoop】一键部署脚本

pyrit安装包（原版+脚本一键安装版）

自动化脚本一键安装 jdk，hadoop，hive

最新资源

nginx 脚本一键安装流媒体