基于伪分布式模式部署Hadoop

基于伪分布式模式部署Hadoop是一种简化的方式，它允许你在一台机器上同时运行Hadoop的所有组件，包括HDFS（分布式文件系统）和YARN（Yet Another Resource Negotiator）。这种方式主要用于测试和开发环境。

以下是基于伪分布式模式部署Hadoop的步骤：

1. **安装Hadoop**：
按照常规流程安装Hadoop，选择伪分布模式安装，这会在本地机器上创建所有必要的目录和配置文件。

2. **修改配置**：
在`conf`目录下的`hadoop-env.sh`、`core-site.xml`、`hdfs-site.xml`和`yarn-site.xml`等文件中，将`mode`属性设置为`pseudo-distributed`。例如，`export HADOOP_MODE=pseudo-distributed`。还需要指定`dfs.namenode.rpc-address`和`dfs.namenode.http-address`等仅适用于分布式模式的地址。

3. **启动服务**：
使用脚本`sbin/start-dfs.sh`启动HDFS，`sbin/start-yarn.sh`启动YARN，并可以分别使用`jps`命令检查每个服务是否正在运行。

4. **测试连接**：
测试通过`hadoop fs -ls`命令查看HDFS文件系统的目录，以及通过`yarn jar`运行MapReduce应用。

5. **注意安全限制**：
由于是在一台机器上模拟，伪分布式模式并不提供完整的安全性，不适合处理敏感数据。