hadoop3.4.1安装

### Hadoop 3.4.1 安装教程

#### 创建用户并安装基础软件
为了确保系统的安全性和权限管理，在Master节点上创建专门用于运行Hadoop的服务账户，并安装必要的依赖工具和服务。这包括但不限于SSH服务端以及Java开发环境的部署[^1]。

sudo adduser hadoop
su - hadoop
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

对于Java环境而言，建议采用官方推荐版本以获得最佳兼容性支持。可以通过APT或其他包管理系统来简化这一过程：

sudo apt-get update && sudo apt-get install openjdk-8-jdk -y
java -version

#### 下载与解压Hadoop发行版
前往Apache官方网站获取最新稳定版本的二进制分发文件，并将其放置于指定路径下以便后续操作。这里假设目标位置为`/opt/hadoop-3.4.1`:

wget https://downloads.apache.org/hadoop/common/stable/hadoop-3.4.1.tar.gz -O /tmp/hadoop-latest.tar.gz
tar zxvf /tmp/hadoop-latest.tar.gz -C /opt/
ln -s /opt/hadoop-3.4.1 /opt/hadoop

#### 编辑配置文件
编辑位于`$HADOOP_HOME/etc/hadoop/`目录下的多个XML格式配置文件，调整参数设置满足实际需求。特别是`core-site.xml`, `hdfs-site.xml`, 和`yarn-site.xml`. 同样重要的是修改`hadoop-env.sh`脚本中的JAVA_HOME变量指向正确的JDK安装路径[^3]:

<!-- core-site.xml -->
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

<!-- hdfs-site.xml -->
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

<!-- yarn-site.xml -->
<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

在`hadoop-env.sh`中加入如下行：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

#### 初始化NameNode并启动集群
完成上述准备工作之后就可以初始化Namenode元数据存储空间，并通过start-dfs.sh命令一次性激活整个分布式文件系统组件。同样地，YARN资源调度器也需要被单独启动：

/opt/hadoop/bin/hdfs namenode -format
/opt/hadoop/sbin/start-dfs.sh
/opt/hadoop/sbin/start-yarn.sh

验证各主要进程是否正常工作可以借助jps工具查看当前活跃线程列表：

jps

如果一切顺利，则应该能看到类似于以下输出的结果集（具体名称可能有所不同取决于所使用的Hadoop版本）：
- NameNode
- DataNode
- ResourceManager
- NodeManager