linux下载配置hadoop

### 下载和安装Hadoop

#### 关闭防火墙
为了确保节点之间的通信顺畅，建议先关闭防火墙服务。可以通过命令`systemctl stop firewalld.service`来停止防火墙，并通过`systemctl disable firewalld.service`防止开机自启[^1]。

#### 实现SSH免密码登录
设置无密码SSH访问对于自动化部署非常重要。这涉及到生成SSH密钥对并将公钥添加到目标机器上的`~/.ssh/authorized_keys`文件中。这样做的好处是可以简化后续操作中的身份验证过程[^2]。

#### 安装JDK
由于Hadoop是基于Java的应用程序，因此需要事先安装好JDK环境。推荐版本为JDK 1.8，可通过官方渠道获取并按照常规方法进行安装配置。

#### Hadoop下载与解压
前往Apache官方网站找到最新稳定版的Hadoop压缩包链接，使用wget工具将其下载至本地服务器；接着利用tar命令解开归档文件，例如：

wget https://archive.apache.org/dist/hadoop/core/hadoop-3.3.0/hadoop-3.3.0.tar.gz
tar -zxvf hadoop-3.3.0.tar.gz

#### 修改网络接口配置
编辑网络接口配置文件（如`ifcfg-ens33`），调整IP地址等相关参数以适应实际物理或虚拟网络环境的需求[^3]。

#### 配置Hadoop核心文件
进入解压后的Hadoop目录下的`etc/hadoop`子目录内，重点修改以下几个主要配置文件的内容：
- `core-site.xml`: 设置临时存储路径以及默认FS URI；
- `hdfs-site.xml`: 自定义数据块副本数量、命名空间ID等属性；
- `yarn-site.xml`: YARN框架特有的选项设定；
- `mapred-site.xml`: MapReduce作业管理器的选择及其他关联项。

具体示例代码如下所示：

<!-- core-site.xml -->
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    ...
</configuration>

<!-- hdfs-site.xml -->
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    ...
</configuration>

<!-- yarn-site.xml -->
<configuration>
    <!-- 各种YARN相关配置 -->
</configuration>

<!-- mapred-site.xml -->
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

完成上述步骤后即可尝试启动整个集群，并测试简单的MapReduce任务是否能够正常工作。