Hadoop单机模式实验

Hadoop是一个分布式计算框架，但是我们可以在单机上安装Hadoop，并使用Hadoop的单机模式来进行实验和学习。下面是Hadoop单机模式实验的步骤：

1. 下载Hadoop

首先需要从Hadoop官网下载适用于单机模式的Hadoop压缩包，下载地址：https://hadoop.apache.org/releases.html。

2. 解压Hadoop

将下载的压缩包解压到任意目录中，例如将其解压到/home/hadoop目录：

tar -zxvf hadoop-x.x.x.tar.gz -C /home/hadoop

3. 配置Hadoop

修改Hadoop的配置文件，使其适合单机模式。主要需要修改以下两个文件：

- /home/hadoop/etc/hadoop/core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>file:///</value>
  </property>
</configuration>

- /home/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/home/hadoop/hadoop_data/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/home/hadoop/hadoop_data/hdfs/datanode</value>
  </property>
</configuration>

在上述配置中，我们将Hadoop的默认文件系统设置为本地文件系统，将数据副本数设置为1，以及指定Hadoop的数据目录。

4. 启动Hadoop

启动Hadoop，首先需要格式化Hadoop的文件系统，命令如下：

/home/hadoop/bin/hdfs namenode -format

然后启动Hadoop的服务：

/home/hadoop/sbin/start-all.sh

启动成功后，可以在浏览器中访问http://localhost:50070查看Hadoop的状态。

5. 运行Hadoop任务

将需要运行的数据文件放在本地文件系统中，例如将数据文件放在/home/hadoop/input目录下。然后运行Hadoop的示例任务，例如WordCount任务，命令如下：

/home/hadoop/bin/hadoop jar /home/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-x.x.x.jar wordcount /home/hadoop/input /home/hadoop/output

任务执行成功后，可以在/home/hadoop/output目录下查看输出结果。

6. 停止Hadoop

停止Hadoop的服务：

/home/hadoop/sbin/stop-all.sh

以上就是Hadoop单机模式实验的步骤。通过这些步骤，可以在单机上体验Hadoop的基本功能。