Hadoop安装与伪分布式集群搭建

### Hadoop 安装教程与伪分布式集群搭建

#### 准备工作
为了成功安装并运行Hadoop，在开始之前需确认操作系统已准备好，并且Java环境已经正确设置。通常推荐使用稳定版本的Linux发行版来进行此操作[^1]。

#### 下载Hadoop软件包
访问Apache官方网站获取最新稳定的Hadoop压缩包，将其解压至指定位置如`/usr/local/hadoop`或其他自定义路径下[^2]。

#### 修改配置文件
进入解压后的Hadoop目录中的`etc/hadoop`子目录编辑必要的XML配置文档：

- `core-site.xml`: 设置HDFS默认存储位置以及其他核心参数；
- `hdfs-site.xml`: 配置NameNode和DataNode的相关属性；
- `mapred-site.xml`: MapReduce框架的具体设定；
- `yarn-site.xml`: YARN资源管理器的各项选项；

对于伪分布式模式来说，这些文件内的某些条目需要特别注意调整以便适应单机多实例模拟的情况[^3]。

<!-- core-site.xml -->
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

<!-- hdfs-site.xml -->
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

#### 初始化HDFS文件系统
通过命令行工具执行如下指令完成格式化过程：

$ bin/hdfs namenode -format

#### 启动服务进程
利用脚本启动各个组件的服务端口监听状态：

# 开启namenode datanode等
sbin/start-dfs.sh  
# 如果涉及YARN则还需开启ResourceManager NodeManager
sbin/start-yarn.sh   

此时应该可以在浏览器中查看Web UI界面验证各模块是否正常运作了。