Linux上Hadoop 1.x单机及伪分布式环境搭建教程

本文档主要介绍了如何在Linux环境下搭建Hadoop 1.x版本的基本环境，包括单机模式和伪分布式模式的配置步骤。以下是详细的讲解： 1. **单机模式搭建**: - 首先，确保系统已经安装了JDK，可以通过执行`./jdkxxxx.bin`命令来安装。然后，配置Java环境变量，编辑`/etc/profile`文件，添加`JAVA_HOME`和`PATH`变量，指向JDK的安装目录。 - 使用`sudo su`或`su - root`切换至root用户，运行`source /etc/profile`使配置生效。 - 下载Hadoop 1.2.1的tar包（`$tar-zxvf hadoop-1.2.1.tar.gz`），解压到`/opt/modules/`目录，并配置Hadoop环境变量，同样在`/etc/profile`中添加`HADOOP_HOME`和`PATH`，指向Hadoop的安装目录。 - 最后，通过运行`hadoop`命令验证Hadoop是否安装正确，如果成功，会显示Hadoop的帮助信息。 2. **Hadoop的JDK路径配置**: - 需要在配置文件中指定Hadoop使用的JDK路径，确保Hadoop能识别正确的Java版本。 3. **伪分布式模式**: - 在进行伪分布式模式搭建时，首先要关闭防火墙，因为Hadoop通常需要开放特定端口进行通信。 - 保持网络环境稳定，IP地址设置为静态，确保主机名`hadoop-master`与实际IP地址`192.168.246.128`匹配。 - 使用`vim /etc/hosts`编辑器，将主机名与IP地址绑定，同时为Windows系统中的hosts文件添加相应的映射，以便跨平台通信。 4. **配置验证**: - 通过运行`hadoopjar hadoop-examples-1.2.1.jar grep /opt/data/input /opt/data/output 'dfs[a-z.]+'`命令来测试Hadoop的grep操作，这表明Hadoop的命令行工具可以正常工作在伪分布式模式下。 本文提供了Hadoop 1.x在Linux环境中从基础安装到配置的详细指南，对于初学者来说是很好的学习资料，特别是对于理解和实践Hadoop的单机和伪分布式部署具有重要的参考价值。在实际应用中，根据集群规模和需求，可能还需要进一步配置Hadoop的配置文件（如core-site.xml和hdfs-site.xml）以及启动守护进程等步骤。