Ubuntu下Hadoop伪分布式搭建教程：初学者指南

本文档详细介绍了在Ubuntu系统上搭建Hadoop伪分布式环境的步骤，旨在帮助初学者理解并实践Hadoop平台的基础配置。以下是主要知识点的详细阐述： 1. 环境准备： - 确保Ubuntu系统已安装Java，因为Hadoop依赖于Java运行环境。 - 下载所需的Hadoop软件包，可以从官方或可靠的源获取。 2. 搭建步骤： - 创建一个名为"master"的虚拟机（VMware14中的Ubuntu 18.04），分配IP地址192.168.136.31。 - 首先，检查系统的网络ID（通过`ipaddr`命令）。 - 关闭Ubuntu的防火墙服务，使用`ufwdisable`命令，并确认防火墙状态关闭（`ufwstatus`）。 - 修改主机名到"master"，使用`hostnamectl set-hostname master`。 - 在虚拟机的`/etc/hosts`文件中添加主机名与IP的映射，如`192.168.136.21 master`。 - 使用`vim`编辑器验证修改并保存（`:wq`）。 - 测试主机名更改是否成功，通过ping命令访问"master"。 3. 安全设置： - 开启SSH免密登录，配置`sshd_config`文件，允许root用户以非交互方式登录（`PermitRootLogin yes`），重启`sshd`服务。 - 生成SSH密钥对（`ssh-keygen -t rsa`），并将公钥添加到`~/.ssh/authorized_keys`，确保文件具有执行权限（`chmod u+x authorized_keys`）。 - 使用`ssh-copy-id`命令将本地公钥复制到master节点，实现无密码登录。 4. 安装JDK： - 回到`/opt`目录并解压下载的JDK tarball（`tar -zxvf jdk-8u181-linux-x64.tar.gz`）。 - 重命名解压后的目录，如`mv jdk1.8.0_181/jdk`。 - 更新环境变量，添加`JAVA_HOME`指向JDK安装路径，更新`PATH`，并使新环境变量生效。 5. 验证安装： - 最后，通过运行`java -version`命令验证JDK是否正确安装和配置。如果显示正确的版本信息，则表明Hadoop伪分布式环境的安装和配置初步完成。 总结，这篇文档提供了从基础环境设置到核心组件配置的完整指南，适合那些初次接触Hadoop且使用Ubuntu系统的学习者。通过一步步实践，读者可以更好地理解和掌握Hadoop伪分布式环境的搭建过程。