hadoop伪分布式集群搭建

Hadoop的伪分布式模式是一种用于本地开发和测试环境的轻量级配置，它不需要真实的Hadoop守护进程（如NameNode、DataNode等），而是通过Hadoop的内置守护程序模拟这些服务。以下是搭建步骤：

1. **下载Hadoop**: 首先从Apache官网下载Hadoop，通常选择的是Hadoop的源码包。

2. **修改配置文件**:
- 修改`conf/core-site.xml`: 设置`fs.defaultFS`为本地文件系统(`file:///`)。
- 修改`conf/hdfs-site.xml`: 关闭DFS的相关设置，例如`dfs.replication=1`，因为这是在单机上运行。

3. **启动守护进程**:
- 使用`hadoop-daemon.sh start namenode` 启动NameNode模拟进程。
- 使用`hadoop-daemon.sh start datanode` 启动DataNode模拟进程。

4. **验证配置**:
- 使用`hadoop fs -ls /` 检查文件系统的根目录是否正常。
- 使用`hadoop dfsadmin -report` 查看集群的状态。

5. **作为客户端操作**:
可以使用命令行工具`hadoop fs`, `hadoop jar` 等来操作Hadoop，它们会自动指向本地的模拟集群。