hadoop单机版安装详细步骤

Hadoop 单机版安装步骤如下：

1. 安装 Java 开发包

Hadoop 是用 Java 开发的，因此需要先安装 Java 开发包。可以到 Oracle 官网下载 Java 开发包，也可以使用 Linux 发行版自带的包管理器安装。

2. 配置 SSH 无密码登录

Hadoop 使用 SSH 协议进行节点间通信，因此需要配置 SSH 无密码登录。可以通过 ssh-keygen 命令生成公私钥对，然后将公钥添加到每个节点的 authorized_keys 文件中。

3. 下载 Hadoop

可以到 Hadoop 官网下载最新版本的 Hadoop。下载完成后，解压缩到合适的目录。

4. 配置 Hadoop 环境变量

需要设置 Hadoop 的环境变量，包括 HADOOP_HOME、PATH 等。可以在 .bashrc 或 .bash_profile 文件中添加以下内容：

export HADOOP_HOME=/path/to/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5. 配置 Hadoop 配置文件

Hadoop 的配置文件位于 Hadoop 安装目录下的 etc/hadoop 目录中。需要配置 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 四个文件。

- core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

- hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

- mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

- yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

6. 格式化 HDFS

需要先格式化 HDFS，初始化 NameNode。

hdfs namenode -format

7. 启动 Hadoop

可以使用 start-all.sh 脚本启动 Hadoop。

$ start-all.sh

8. 验证 Hadoop

可以运行以下命令验证 Hadoop 是否正常启动：

$ jps
$ hdfs dfs -mkdir /test
$ hdfs dfs -ls /

输出应该包括 DataNode、NameNode、SecondaryNameNode 等进程，并且能够成功创建目录并查看目录列表。