【从零开始构建HDFS】：新手也能搭建环境并执行读写测试

# 1. Hadoop和HDFS简介

## 1.1 Hadoop的定义和功能
Hadoop是一个开源的分布式计算框架，它允许用户存储和处理大量的数据。Hadoop的核心是HDFS（Hadoop Distributed File System），它是一种高容错的系统，设计用来在廉价硬件上运行。Hadoop还包括MapReduce算法框架，用于大规模数据集（大于1TB）的并行运算。

## 1.2 Hadoop的应用场景
Hadoop广泛应用于数据仓库、日志分析、推荐系统、数据挖掘等领域。它的优点在于处理大规模数据集时的扩展性和经济性。Hadoop能够从简单的服务器集群中提取出巨大的计算和存储能力。

## 1.3 Hadoop的组件
Hadoop生态系统包括了多个组件，其中最核心的是HDFS和MapReduce。除此之外，还包括YARN（Yet Another Resource Negotiator，另一种资源协调者）用于资源管理和作业调度，以及HBase、Hive等项目，它们提供了对结构化和半结构化数据的高级操作。

graph LR
    Hadoop[Hadoop] --> HDFS[(HDFS)]
    Hadoop --> YARN
    Hadoop --> MapReduce
    YARN -.-> |资源管理| HBase[(HBase)]
    YARN -.-> |作业调度| Hive[(Hive)]
    YARN --> Tez[(Tez)]
    HBase -.-> |NoSQL数据库| Phoenix[(Phoenix)]
    Hive -.-> |SQL-like查询语言| Pig[(Pig)]
    Hive -.-> |数据仓库工具| Oozie[(Oozie)]

通过这个框架图，可以看出Hadoop的组件之间是如何相互协作的。每一个组件都是为了处理大数据而设计的，它们各自解决不同层面的问题，从而形成一个完整的生态系统。

# 2. 搭建Hadoop环境

## 2.1 安装前的准备工作
### 2.1.1 系统要求和依赖包

为了顺利搭建和运行Hadoop环境，必须先确认你的系统环境满足一系列基本要求。Hadoop可以运行在多种操作系统上，但最常用的是类Unix系统，如Ubuntu或CentOS。对于硬件要求，Hadoop集群中的每个节点应具备足够的内存和磁盘空间来处理数据。

在依赖包方面，Hadoop的运行需要Java环境。因此，你的系统必须安装有Java Development Kit (JDK)。除了JDK，根据你的Hadoop版本，可能还需要安装其他如`libtool`、`ssh`等依赖包。你可以通过包管理器安装这些依赖，例如，在Ubuntu上使用`apt`，在CentOS上使用`yum`或`dnf`。

命令示例（在Ubuntu系统上安装JDK）：

sudo apt-get update
sudo apt-get install openjdk-8-jdk

### 2.1.2 安装Java环境

安装Java环境是搭建Hadoop环境的先决条件。Hadoop需要Java环境来运行其服务，比如HDFS和MapReduce。Java版本的选择应基于你安装的Hadoop版本的要求。例如，如果你使用的是Hadoop 3.x，你应该安装Java 8或更高版本。

以下是安装Java的步骤：

1. 下载最新的Java JDK包。
2. 解压到指定目录。
3. 配置Java的环境变量。

下载Java JDK:

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" ***

解压到指定目录：

mkdir -p /usr/lib/jvm
tar -xzf jdk-8u231-linux-x64.tar.gz -C /usr/lib/jvm

配置Java环境变量：

vim /etc/profile

在profile文件末尾添加如下内容：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_231
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

重载配置文件，使更改生效：

source /etc/profile

通过`java -version`确认Java安装成功。如果系统返回了Java的版本信息，说明环境变量配置正确。

安装和配置Java环境是搭建Hadoop环境的基础，接下来，我们将根据Hadoop的版本进行安装和配置。

## 2.2 Hadoop安装与配置

### 2.2.1 下载和解压Hadoop

现在我们已经准备好了系统和Java环境，接下来进行Hadoop的下载和安装。从官方网站（***）下载Hadoop的稳定版本，然后将其解压到系统中。

下载Hadoop:

wget ***

解压Hadoop:

mkdir -p /opt/hadoop
tar -xzf hadoop-3.2.1.tar.gz -C /opt/hadoop

解压后，你将看到一系列Hadoop组件的目录，包括`bin`、`etc`、`lib`等。

### 2.2.2 配置Hadoop环境变量

为了让系统能够识别Hadoop命令，需要设置环境变量。在你的用户目录下找到`.bashrc`或`.bash_profile`文件，并在文件的末尾添加以下内容：

export HADOOP_HOME=/opt/hadoop/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

为了使这些更改立即生效，你可能需要重新加载配置文件：

source ~/.bashrc

此时，运行`hadoop version`命令，如果看到Hadoop的版本信息，说明环境变量已正确设置。

### 2.2.3 验证安装和启动Hadoop集群

安装验证后，我们开始启动Hadoop集群，观察是否能正常运行。Hadoop集群的启动和停止涉及到多个组件，主要包括NameNode和DataNode，它们负责管理HDFS文件系统的命名空间和存储数据。

启动Hadoop集群:

start-dfs.sh

在成功启动集群之后，你可以通过访问 `***<your-node-ip>:9870/` 来查看HDFS的状态，使用 `***<your-node-ip>:9864/` 来检查YARN的状态。其中 `<your-node-ip>` 应该替换为你的节点IP地址。

停止Hadoop集群:

stop-dfs.sh

在启动和停止Hadoop集群时，确保相关服务正常运行，没有报错信息。如果有任何问题，检查日志文件进行故障诊断。

## 2.3 配置HDFS文件系统

### 2.3.1 格式化NameNode

在启动HDFS之前，需要格式化文件系统的NameNode。这是首次安装时必须的操作，因为NameNode是HDFS的主节点，负责维护文件系统的元数据。

格式化前确保停止正在运行的Hadoop服务：

stop-dfs.sh

格式化NameNode:

hdfs namenode -format

如果看到提示“Fo