本文档详细介绍了在Ubuntu系统上搭建Hadoop伪分布式环境的步骤,旨在帮助初学者理解并实践Hadoop平台的基础配置。以下是主要知识点的详细阐述:
1. 环境准备:
- 确保Ubuntu系统已安装Java,因为Hadoop依赖于Java运行环境。
- 下载所需的Hadoop软件包,可以从官方或可靠的源获取。
2. 搭建步骤:
- 创建一个名为"master"的虚拟机(VMware14中的Ubuntu 18.04),分配IP地址192.168.136.31。
- 首先,检查系统的网络ID(通过`ipaddr`命令)。
- 关闭Ubuntu的防火墙服务,使用`ufwdisable`命令,并确认防火墙状态关闭(`ufwstatus`)。
- 修改主机名到"master",使用`hostnamectl set-hostname master`。
- 在虚拟机的`/etc/hosts`文件中添加主机名与IP的映射,如`192.168.136.21 master`。
- 使用`vim`编辑器验证修改并保存(`:wq`)。
- 测试主机名更改是否成功,通过ping命令访问"master"。
3. 安全设置:
- 开启SSH免密登录,配置`sshd_config`文件,允许root用户以非交互方式登录(`PermitRootLogin yes`),重启`sshd`服务。
- 生成SSH密钥对(`ssh-keygen -t rsa`),并将公钥添加到`~/.ssh/authorized_keys`,确保文件具有执行权限(`chmod u+x authorized_keys`)。
- 使用`ssh-copy-id`命令将本地公钥复制到master节点,实现无密码登录。
4. 安装JDK:
- 回到`/opt`目录并解压下载的JDK tarball(`tar -zxvf jdk-8u181-linux-x64.tar.gz`)。
- 重命名解压后的目录,如`mv jdk1.8.0_181/jdk`。
- 更新环境变量,添加`JAVA_HOME`指向JDK安装路径,更新`PATH`,并使新环境变量生效。
5. 验证安装:
- 最后,通过运行`java -version`命令验证JDK是否正确安装和配置。如果显示正确的版本信息,则表明Hadoop伪分布式环境的安装和配置初步完成。
总结,这篇文档提供了从基础环境设置到核心组件配置的完整指南,适合那些初次接触Hadoop且使用Ubuntu系统的学习者。通过一步步实践,读者可以更好地理解和掌握Hadoop伪分布式环境的搭建过程。