centos7安装hadoop详细步骤

下面是 CentOS 7 上安装 Hadoop 的详细步骤：

1. 安装 Java

Hadoop 是基于 Java 开发的，需要先安装 Java 环境。可以使用以下命令安装 OpenJDK：

sudo yum install java-1.8.0-openjdk-devel

2. 下载 Hadoop

可以从 Hadoop 的官方网站下载最新版本的 Hadoop：http://hadoop.apache.org/releases.html

下载完成后，将文件解压到目录中：

tar -xzvf hadoop-2.10.1.tar.gz
sudo mv hadoop-2.10.1 /usr/local/hadoop

3. 配置 Hadoop

编辑 hadoop-env.sh 文件，设置 JAVA_HOME 环境变量：

sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh

将以下行添加到文件中，替换为您的 Java 安装路径：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

编辑 core-site.xml 文件，设置 Hadoop 的默认文件系统：

sudo nano /usr/local/hadoop/etc/hadoop/core-site.xml

将以下行添加到文件中：

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

编辑 hdfs-site.xml 文件，设置 HDFS 数据目录：

sudo nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml

将以下行添加到文件中：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
  </property>
</configuration>

创建 HDFS 数据目录：

sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
sudo chown -R hadoop:hadoop /usr/local/hadoop

编辑 mapred-site.xml 文件，设置 MapReduce 框架：

sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
sudo nano /usr/local/hadoop/etc/hadoop/mapred-site.xml

将以下行添加到文件中：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

编辑 yarn-site.xml 文件，设置 YARN 资源管理器：

sudo nano /usr/local/hadoop/etc/hadoop/yarn-site.xml

将以下行添加到文件中：

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

4. 启动 Hadoop

启动 Hadoop：

sudo /usr/local/hadoop/sbin/start-all.sh

检查 Hadoop 是否已启动：

sudo jps

将会看到以下进程：

NameNode
SecondaryNameNode
DataNode
ResourceManager
NodeManager
Jps

5. 测试 Hadoop

使用以下命令创建一个新目录：

sudo /usr/local/hadoop/bin/hdfs dfs -mkdir /test

使用以下命令上传一个文件到 HDFS：

sudo /usr/local/hadoop/bin/hdfs dfs -put /etc/hosts /test

使用以下命令查看上传的文件：

sudo /usr/local/hadoop/bin/hdfs dfs -ls /test

使用以下命令将文件从 HDFS 下载到本地文件系统：

sudo /usr/local/hadoop/bin/hdfs dfs -get /test/hosts /tmp

使用以下命令删除 HDFS 中的文件：

sudo /usr/local/hadoop/bin/hdfs dfs -rm /test/hosts

6. 关闭 Hadoop

关闭 Hadoop：

sudo /usr/local/hadoop/sbin/stop-all.sh

以上就是在 CentOS 7 上安装 Hadoop 的详细步骤。