Hadoop 完全分布式安装教程

Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和分析。下面是Hadoop完全分布式安装的基本步骤：

1. 安装Java：首先确保你的系统已经安装了Java环境，Hadoop是基于Java开发的。你可以从Oracle官网下载并安装适合你系统的Java版本。

2. 下载Hadoop：从Apache官网下载Hadoop的最新稳定版本。解压下载的压缩包到你选择的目录。

3. 配置环境变量：编辑你的系统环境变量文件（如.bashrc或者.bash_profile），添加以下内容：

   export HADOOP_HOME=/path/to/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin

4. 配置Hadoop：进入Hadoop的安装目录，找到`etc/hadoop`目录，修改以下配置文件：
- `hadoop-env.sh`：设置JAVA_HOME为你的Java安装路径。
- `core-site.xml`：配置Hadoop的核心参数，如文件系统类型、NameNode地址等。
- `hdfs-site.xml`：配置HDFS（Hadoop分布式文件系统）相关参数，如副本数量、数据块大小等。
- `mapred-site.xml`：配置MapReduce相关参数，如任务调度器类型、任务并行度等。
- `yarn-site.xml`：配置YARN（Yet Another Resource Negotiator）相关参数，如资源管理器地址、节点管理器地址等。

5. 配置SSH免密登录：Hadoop需要通过SSH与集群中的节点通信，因此需要配置SSH免密登录。生成SSH密钥对，并将公钥分发到所有节点上。

6. 格式化HDFS：在NameNode节点上执行以下命令，格式化HDFS：

   hdfs namenode -format

7. 启动Hadoop集群：依次启动Hadoop集群的各个组件，可以使用以下命令：

   start-dfs.sh  # 启动HDFS
   start-yarn.sh  # 启动YARN

8. 验证安装：通过访问Hadoop的Web界面，如NameNode的http://localhost:50070和ResourceManager的http://localhost:8088，来验证Hadoop是否成功安装和运行。