Ubuntu 16.04下Hadoop 2.7.3伪分布安装教程与运行截图

本文档详细介绍了在Ubuntu 16.04系统上安装Hadoop 2.7.3版本的伪分布式环境，并配以集群运行截图，适合初次接触Hadoop或云计算与分布式系统的学生进行学习。以下是安装和配置的详细步骤： 1. **准备工作**： - 安装SSH服务：首先确保系统的SSH服务可用，通过`sudo apt-get install openssh-server`安装，重启服务以使更改生效。 - 映射IP与主机名：修改主机名称到“ubuntu1”，并将本地IP替换为实际的Ubuntu机器IP。 2. **安装Java Development Kit (JDK)**： - 下载JDK 1.8版本：选择稳定且兼容Hadoop的JDK，如jdk-8u171-linux-x64.tar.gz，从Oracle官网下载。 - 解压并配置环境变量：在~/soft目录下解压JDK，编辑~/.bashrc文件添加环境变量，然后执行`source ~/.bashrc`使新环境变量生效。验证安装通过`java -version`。 3. **安装Hadoop 2.7.3**： - 下载Hadoop 2.7.3安装包：从Apache官网下载链接。 - 解压Hadoop：将下载的tar.gz文件解压到~/soft目录。 4. **配置Hadoop**： - 配置核心参数：通常在`conf/core-site.xml`和`conf/hdfs-site.xml`等配置文件中设置Hadoop的相关参数，包括DFS（分布式文件系统）和YARN（Yet Another Resource Negotiator）的配置。 - 配置伪分布式模式：在`conf/hadoop-env.sh`或`conf/yarn-env.sh`中设置JAVA_HOME指向已安装的JDK。 - 配置`hadoop-site.xml`，确保正确配置了Hadoop的主节点和从节点信息。 5. **运行Hadoop集群**： - 启动Hadoop守护进程：使用`start-dfs.sh`启动HDFS，`start-yarn.sh`启动YARN。 - 检查集群状态：可以使用`jps`命令查看Hadoop进程是否已经启动，`hadoop fs -ls /`来检查HDFS目录结构。 在整个过程中，需要注意文件路径的正确性和配置文件的合理性，特别是核心文件`core-site.xml`中的路径设置，确保它们指向正确的Hadoop安装目录。遇到文件问题时，可能是由于配置错误导致的，需要仔细检查。这份文档提供了一个实用的指导，有助于初学者理解和操作Hadoop的安装和配置。