快速搭建hadoop脚本

以下是一个简单的脚本，用于快速搭建Hadoop集群：

#!/bin/bash

# 安装Java
sudo apt-get update
sudo apt-get install default-jdk -y

# 下载Hadoop
wget http://apache.mirrors.tds.net/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
tar xzf hadoop-3.2.1.tar.gz
sudo mv hadoop-3.2.1 /usr/local/hadoop

# 配置环境变量
echo "export HADOOP_HOME=/usr/local/hadoop" >> ~/.bashrc
echo "export PATH=\$PATH:\$HADOOP_HOME/bin" >> ~/.bashrc
source ~/.bashrc

# 配置Hadoop
cd /usr/local/hadoop/etc/hadoop
sudo mv core-site.xml core-site.xml.bak
sudo mv hdfs-site.xml hdfs-site.xml.bak
sudo mv mapred-site.xml mapred-site.xml.bak
sudo mv yarn-site.xml yarn-site.xml.bak

sudo cp /vagrant/core-site.xml /usr/local/hadoop/etc/hadoop/
sudo cp /vagrant/hdfs-site.xml /usr/local/hadoop/etc/hadoop/
sudo cp /vagrant/mapred-site.xml /usr/local/hadoop/etc/hadoop/
sudo cp /vagrant/yarn-site.xml /usr/local/hadoop/etc/hadoop/

# 格式化HDFS
hdfs namenode -format

# 启动Hadoop集群
start-all.sh

需要注意的是，这个脚本需要在Linux环境下运行，并且需要安装Java和wget。此外，还需要将core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml这四个文件复制到Hadoop的配置目录中，并根据实际情况修改配置文件中的参数。最后，使用hdfs namenode -format命令格式化HDFS，启动Hadoop集群使用start-all.sh命令。