虚拟机NAT模式下Hadoop伪分布式配置详解

本文档详细介绍了在虚拟机上采用伪分布式方式安装和配置Hadoop集群的过程，主要针对的是CentOS 6.7操作系统。以下是关键步骤和配置： 1. **Java环境准备**： - 首先，你需要下载并安装Oracle JDK 7u67版本，使用`tar-zxf jdk-7u67-linux-x64.tar.gz`进行解压，然后将JDK安装到`/opt/moduels/jdk1.7.0_67`目录下。 - 配置Java环境变量：编辑`/etc/profile`文件，设置`JAVA_HOME`指向JDK安装路径，并更新`PATH`环境变量，使其包含JDK的bin目录。最后运行`source etc/profile`来使新的环境变量生效。 2. **虚拟机网络配置**： - 虚拟机必须使用NAT模式，确保虚拟机能与主机网络通信。在虚拟机设置界面中，将虚拟网络设置为NAT模式，并确保为虚拟机分配一个独立的IP地址，如192.168.47.100，避免使用000和2作为IP地址。 - 在`/etc/sysconfig/network-scripts/ifcfg-XXX`文件中，设置虚拟机的静态IP地址、子网掩码和网关。 3. **主机和虚拟机主机名及DNS配置**： - 在`/etc/hosts`文件中添加虚拟机的IP地址和主机名，以便主机能通过域名访问虚拟机。 - 修改虚拟机的hostname到`bigdata.001.com`，并确认主机可以ping通这个新设置的主机名。 4. **SELinux和防火墙管理**： - 由于Hadoop运行可能需要特定权限，禁用SELinux以提供更好的兼容性。编辑`/etc/sysconfig/selinux`，设置`SELINUX=disabled`。 - 关闭防火墙服务，包括停止服务、禁用自启动以及检查防火墙状态。 5. **Hadoop安装**： - 下载Hadoop 2.5.0版本的tar包，并解压到适当的目录，如`hadoop-2.5.0.tar.gz`。 6. **启动和验证Hadoop**： - 安装完成后，按照Hadoop的文档指南进行伪分布式配置，包括修改配置文件、启动Hadoop守护进程等。 - 使用`ping`命令验证虚拟机和实体机之间的网络连接，以及Hadoop服务是否正确启动。 总结来说，这篇文章指导读者如何在虚拟机中配置伪分布式Hadoop环境，涉及了必要的Java环境设置、网络配置、系统安全设置以及Hadoop本身的安装和测试。通过这些步骤，用户可以搭建一个适合于测试和学习的Hadoop开发环境。