一、实验要求(10%)
1. 成功创建 Linux 的虚拟机操作系统(Ubuntu 或 Centos)作为 namenode,并设置好虚拟网卡、使用 net
方式使虚拟机可以访问互联网。
2. 完成虚拟机 vim、net 等工具的安装(最小安装的需要)、Hadoop 环境变量的配置和安装。
3. 完成对 namenode 的链接克隆生成两台 datanode,并设置好 datanode 的 IP 地址,确保其可以访问
互联网。
4. 实现三台虚拟机两两之间的 ssh 无密登录。
5. 成功启动集群,且可通过 jps 命令查看各个虚拟机上活跃的节点(与实验要求一致),并可以正常
访问对应的 web 页面。
二、实验内容及步骤(80%)
1. 安装、配置 Linux 操作系统
首先,在清华大学镜像站下载 Ubuntu Server 22.04 LTS 的.iso 镜像文件。
按照微信公众号“软件工具”按照教程进行,完成虚拟机的创建和配置,呈现“login”提示,则
说明创建成功,可以输入用户名及其对应的密码登录,并使用命令“sudo useradd -m hadoop”和“sudo
passwd hadoop”创建 Hadoop 用户并设置密码。
不可或缺的一步是,需要保持真机的虚拟网卡 Vnet8 随机分配的 IP(本人为 192.168.10.100)与虚
拟机的 net 连接方式 IP 保持一致(ens33 文件),再使用“ping www.baidu.com”检查网络连接无误即
可继续。
2. Hadoop、JDK 的安装和配置
使用 Xshell 工具将真机的 Hadoop 和 JDK 的安装包导入到虚拟机的/tmp 文件夹下,使用“sudo mkdir
/usr/local”命令创建新的文件夹 hadoop,并使用 cp 复制命令,将上述文件导入 local 文件夹(即为 hadoop
的安装路径)下,再使用“sudo tar -zxf hadoop.tar.gz”解压,之后配置环境变量、使用“sudo chown -R
hadoop:hadoop .”命令修正权限并修改 profile 文件,再使用“source /etc/profile”命令应用相关变更,
即完成安装 Hadoop。
安装成功的效果:
JDK 的安装也是类似,但更简单高效的安装方法为使用在线的安装命令“sudo apt -y install
openjdk-8-jdk”即可快速地安装 JDK。(还需简单修改一下 hadoop-env.sh 文件)
安装成功的效果: