Windows环境下单机配置Hadoop-2.5.2详教程

"这篇教程详述了如何在Windows 10环境下配置和安装单机版的Hadoop 2.5.2。它包括了必要的准备工作、环境变量设置、以及对核心配置文件的修改，旨在帮助用户顺利搭建Hadoop开发环境。" 在Windows平台上配置Hadoop，首先要确保计算机上已安装了Java Development Kit (JDK)并设置了环境变量。Hadoop的版本是2.5.2，教程提供了一个zip文件`hadooponwindows-master.zip`以辅助安装。以下是具体的步骤： 1. 解压与安装Hadoop： - 下载Hadoop 2.5.2的tar.gz文件，将其解压缩到指定目录，例如`F:/OpenSources/hadoop/Hadoop-2.5.2`。 - 设置Hadoop环境变量，包括`HADOOP_HOME`指向Hadoop的安装目录，并将`%HADOOP_HOME%\bin`添加到系统的`PATH`环境变量中。 2. 配置Hadoop环境变量： 这一步是为了让系统能够找到Hadoop的可执行文件和相关库。 3. 修改配置文件： - core-site.xml: 这个文件定义了Hadoop的临时目录`hadoop.tmp.dir`，名称节点的存储位置`dfs.name.dir`，以及默认文件系统的地址`fs.default.name`。在这个示例中，这些路径都设置在F盘的特定目录下。 ```xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>/F:/OpenSources/hadoop/Hadoop-2.5.2/workplace/tmp</value> </property> <property> <name>dfs.name.dir</name> <value>/F:/OpenSources/hadoop/hadoop-2.5.2/workplace/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` - mapred-site.xml: 这个文件定义了MapReduce框架的名称`mapreduce.framework.name`和作业跟踪器的地址`mapred.job.tracker`。在这个例子中，它们都指向本地主机的特定端口。 ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapred.job.tracker</name> <value>hdfs://localhost:9001</value> </property> </configuration> ``` - hdfs-site.xml: 在这个文件中，主要配置了数据块的复制因子`dfs.replication`和数据节点的数据存储位置`dfs.data.dir`。需要注意的是，教程指出需要手动创建`/F:/OpenSources/hadoop/hadoop-2.5.2/workplace/data`这个目录。 ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.data.dir</name> <value>/F:/OpenSources/hadoop/hadoop-2.5.2/workplace/data</value> </property> </configuration> ``` 完成上述步骤后，启动Hadoop的服务，包括NameNode、DataNode、ResourceManager和NodeManager。通过运行Hadoop提供的启动脚本，如`start-dfs.sh`和`start-yarn.sh`，可以启动所有服务。然后，你可以使用Hadoop的命令行工具或者Web界面来验证安装是否成功。 单机配置Hadoop是一个涉及环境变量设置、配置文件修改和服务启动的过程，这有助于初学者理解Hadoop的工作原理，同时也为后续的分布式环境学习打下基础。