本地部署hadoop

### 配置本地环境下的Hadoop集群

#### 修改配置文件

为了在本地环境中部署Hadoop集群，需要修改一系列配置文件以适应单节点或多节点模式的需求。对于Hadoop守护进程执行的环境以及这些守护进程自身的参数都需要进行相应的调整[^1]。

具体来说，在分发版本的`bin/`目录下存在一些可由管理员通过编辑`etc/hadoop/hadoop-env.sh`和`etc/hadoop/yarn-env.sh`来设定特定于站点属性的Shell脚本，这允许用户自定义Java虚拟机选项和其他环境变量[^2]。

#### 编辑核心配置文件

不同于早期版本仅需在一个XML文件(`hadoop-site.xml`)中指定全部实例级别的配置项；现在则被拆分为三个独立的XML文件来进行更细致化的管理——即`core-site.xml`, `hdfs-site.xml` 和 `yarn-site.xml`. 这种分离关注点的做法虽然增加了工作量但也提高了灵活性与清晰度[^4].

以下是针对这三个主要配置文件的一个简单示例：

<!-- core-site.xml -->
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

<!-- hdfs-site.xml -->
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

<!-- yarn-site.xml -->
<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property>
</configuration>

完成上述配置之后便可以在本地启动一个简易版的伪分布式Hadoop集群了。如果希望进一步增强安全性，则可以考虑集成Kerberos认证机制来保护整个集群的安全性[^5]。