搭建Hadoop伪分布式环境

搭建Hadoop伪分布式环境主要用于在单台机器上进行Hadoop集群的测试和学习，它不需要外部的HDFS和YARN服务，而是将Hadoop的所有组件集成在同一台机器上运行。以下是步骤：

1. **下载安装Hadoop**：首先从Apache官网下载适合的操作系统的Hadoop二进制包，比如hadoop-3.x.x.tar.gz。

2. **配置`core-site.xml`**：这个文件通常位于`conf`目录下，你需要设置`fs.defaultFS`为本地文件系统（`file:///`），以便数据存储在本地。

3. **配置`hdfs-site.xml`**：虽然HDFS不存在于伪分布模式，但还是需要配置一些基本的信息，如`dfs.replication`（默认1）和`dfs.namenode.name.dir`（数据节点路径）。

4. **配置`yarn-site.xml`**：如果使用MapReduce，也需要配置`mapreduce.framework.name`为"local"。

5. **启动Hadoop守护进程**：依次运行`bin/start-all.sh`（或`sbin/start-dfs.sh`、`sbin/start-yarn.sh`）来启动Hadoop的各个守护进程，包括NameNode、JobTracker等。

6. **验证是否成功**：通过命令行可以访问Hadoop WebUI（默认http://localhost:50070），查看各个服务的状态。