搭建Hadoop的伪分布

模式

搭建Hadoop的伪分布模式需要以下几个步骤：

1. 安装Java环境

Hadoop是基于Java开发的，因此需要先安装Java环境。可以从Oracle官网下载Java开发工具包（JDK）并安装。

2. 配置SSH

Hadoop在运行时需要和其他节点通信，因此需要配置SSH以便节点之间的通信。可以使用以下命令生成SSH密钥：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

接着将公钥复制到`authorized_keys`文件中：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3. 下载Hadoop

可以从Hadoop官网下载最新版本的Hadoop。下载完成后解压到指定目录，比如`/usr/local/hadoop`。

4. 配置Hadoop

进入Hadoop目录，找到`/etc/hadoop`目录，修改其中的配置文件。以下是一些常见的配置项：

- `core-site.xml`：配置Hadoop的核心参数，比如文件系统的URI、I/O缓存等。
- `hdfs-site.xml`：配置Hadoop分布式文件系统（HDFS）的参数，比如副本数量、数据块大小等。
- `mapred-site.xml`：配置Hadoop MapReduce的参数，比如任务调度器、任务跟踪器等。
- `yarn-site.xml`：配置Hadoop资源管理（YARN）的参数，比如资源调度器、节点管理器等。

5. 启动Hadoop

启动Hadoop需要执行以下命令：

sbin/start-all.sh

这会启动Hadoop的各个组件（比如NameNode、DataNode、ResourceManager、NodeManager等）。可以使用以下命令查看Hadoop的运行状态：

jps

如果一切正常，可以在浏览器中访问`http://localhost:50070`查看Hadoop的Web UI。

6. 执行Hadoop任务

可以使用Hadoop自带的例子来测试Hadoop的运行情况。比如执行以下命令来运行WordCount任务：

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output

其中`input`和`output`分别是输入和输出的路径。可以使用以下命令查看任务的运行情况：

bin/hadoop job -list

执行完成后，可以在`output`目录下查看任务的输出结果。