windows安装hadoop2
时间: 2025-01-03 10:34:45 浏览: 8
### 安装准备
为了在 Windows 操作系统上成功安装 Hadoop 2.x 版本,需先准备好必要的工具和资源。确保已安装 Java 运行环境 (JRE),因为 Hadoop 是基于 Java 的框架[^1]。
### 下载与解压
前往 Apache Hadoop 官方网站下载适合的 Hadoop 2.x 版本压缩包。对于 Windows 用户来说,通常会选择 `.zip` 文件而非 `.tar.gz`。下载完成后,在期望位置创建一个新的文件夹用于存放 Hadoop 并将 ZIP 压缩包内的所有内容解压至此处[^3]。
```bash
# 解压命令示例(假设使用WinRAR或其他支持命令行操作的软件)
"C:\Program Files\WinRAR\Unrar.exe" x C:\path_to_zip_file\hadoop-2.x.y.zip c:\desired_location\
```
### 配置环境变量
编辑系统的 `PATH` 和新建名为 `HADOOP_HOME` 的环境变量来指向刚刚解压出来的 Hadoop 主目录路径。这一步骤使得可以在任意地方通过命令提示符调用 Hadoop 工具而无需指定完整路径。
#### 设置方法:
1. 打开控制面板 -> 系统和安全 -> 系统 -> 高级系统设置;
2. 单击“高级”选项卡下的“环境变量...”按钮;
3. 在“系统变量”部分点击“新建”,输入名称为 `HADOOP_HOME` ,值设为你实际放置 Hadoop 的绝对路径;
4. 修改现有的 `Path` 变量,在其末尾追加 `%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;`。
### 获取必要二进制库
由于某些原因,默认发布的 Hadoop 不包含适用于 Windows 的原生库。因此还需要额外获取这些依赖项以便能够正常使用全部特性。可以从 GitHub 上找到由社区维护者提供的 winutils.exe 和 hadoop.dll 文件,并将其放入 `$HADOOP_HOME/bin` 目录内[^5]。
### 编辑配置文件
进入 `$HADOOP_HOME/etc/hadoop/` 路径下修改如下几个重要 XML 格式的配置文档以适应本地机器状况[^4]:
- **core-site.xml**: 添加或更新 `<configuration>` 中关于临时存储位置的信息。
```xml
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop-${user.name}</value>
<description>A base for other temporary directories.</description>
</property>
```
- **hdfs-site.xml**: 如果打算作为伪分布式模式运行,则至少要定义数据节点的工作空间。
```xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
```
- **mapred-site.xml**: 将 MapReduce 框架设定为 YARN 来执行作业管理任务。
```xml
<!-- 创建 mapred-site.xml 若不存在 -->
cp mapred-site.xml.template mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
```
- **yarn-site.xml**: 对于 yarn 场景而言,这里可以自定义 ResourceManager 绑定地址等参数。
```xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
```
### 初始化并启动服务
首次使用前需要格式化 NameNode:
```shell
hdfs namenode -format
```
接着可以通过以下方式开启各个组件的服务进程:
```shell
start-dfs.cmd && start-yarn.cmd
```
以上即完成了基本的单机版 Hadoop 2.x 在 Windows 上的部署过程。
阅读全文