Hadoop安装与伪分布式集群搭建 头歌

Hadoop是一个用于处理大规模数据集的开源框架，主要用于离线批处理计算。安装Hadoop并配置伪分布式集群主要是为了在本地环境中测试Hadoop组件，比如HDFS（分布式文件系统）和MapReduce。

1. **安装Hadoop**: 首先，你需要从Apache官网下载Hadoop的源码包或者预打包的二进制版本。对于新手，推荐使用预打包的版本，如Hadoop 2.x或3.x。按照安装指南，解压文件到指定目录，并设置环境变量指向Hadoop的bin目录。

2. **配置`hadoop-env.sh`**: 修改`conf/hadoop-env.sh`文件，设置JAVA_HOME到你的JDK路径。

3. **创建伪分布配置**：在`conf`目录下，复制`hdfs-site.xml.template` 和 `core-site.xml.template` 到实际文件名，然后编辑它们，设置适当的属性，例如namenode和datanode的地址、副本因子等。

4. **运行HDFS**：启动HDFS服务，通常通过`start-dfs.sh`或`sbin/start-hadoop.sh`命令，首先启动NameNode (` Namenode hostname:port`), 然后启动DataNodes。

5. **配置MapReduce**：在`mapred-site.xml`中配置JobTracker的地址。同样，你可以通过`start-mapreduce.sh`或`sbin/start-yarn.sh`启动YARN（取代了以前的JobTracker），它会同时管理资源管理和任务调度。

6. **验证集群状态**：访问`http://localhost:50070` (如果使用的是Hadoop 2) 或 `http://localhost:8088` (如果是Hadoop 3) 查看Hadoop的状态信息。