hadoop伪分布式环境配置

Hadoop的伪分布式模式是一种用于本地测试和快速原型设计的模式。它不需要集群设置，而是模拟了Hadoop集群的行为，允许你在单台机器上运行Hadoop的各个组件，如HDFS和MapReduce。

配置步骤如下：

1. **安装Hadoop**: 首先，你需要下载并安装Hadoop。通常，你可以从Apache官网获取Hadoop的tarball，并按照指南进行安装。

2. **编辑`core-site.xml`**:
- 将`<property>`标签内的`<fs.default.name>hdfs://localhost:9000</fs.default.name>` 设置为你本地文件系统的路径，例如 `hdfs:///` 或者 `file:///`，取决于你选择的文件系统类型。
- `<hadoop.tmp.dir>` 指定Hadoop的数据存储目录，通常是 `/tmp/hadoop-${USER}`。

3. **编辑`hdfs-site.xml`**:
- 确保`<dfs.replication>` 设置为 `1`，因为是在单机环境中。

4. **编辑`mapred-site.xml`**:
- 如果使用的是MapReduce，设置`<mapreduce.framework.name>`为 "local"。

5. **启动服务**:
- 运行`start-all.sh`或`sbin/start-dfs.sh` 和 `sbin/start-yarn.sh` 启动HDFS和YARN服务。
- 如果只用MapReduce，可以运行 `bin/hadoop jar` 来运行 MapReduce程序。

6. **运行测试任务**:
- 使用Hadoop命令行工具（如`hadoop fs`, `jar`, 或`hadoop dfsadmin`）进行操作，或者直接在本地运行MapReduce程序。