VMware下Hadoop1.1.2 Host-only模式伪分布安装教程

在Host-only模式下安装Hadoop 1.1.2的伪分布式环境，主要针对的是在VMware虚拟机环境中使用CentOS 7.0操作系统，借助PieTTY 0.3.26.exe进行Linux终端连接和WinSCP进行文件传输。整个过程包括以下几个关键步骤： 1. VMware host-only网络配置: - 将虚拟机网络连接方式设置为host-only，确保VMware Network Adapter VMnet1不与主机网络冲突，避免IP地址重复。 - 配置虚拟机的IP地址与VMnet1地址一致，并将主机的网络设置为Internet共享给虚拟机。 2. 设置IP地址和网络服务: - 使用`servicenetworkrestart`命令重启网络服务，但可能会遇到两个问题： - 报错一：`failed to start lsb-bridge-updown-networking`，解决方法是由于CentOS 7没有70-persistent-net.rules，可能需要修改eno16777736的MAC地址。 - 报错二：`Could not load file '/etc/sysconfig/network-scripts/ifcfg-lo'`，可以通过`systemctl enable NetworkManager-wait-online.service`来启用Network Manager。 3. 关闭防火墙: - 使用`service iptables stop`命令停止iptables服务，以确保数据包能够正常传输。 - 验证是否成功关闭，可以执行`service iptables status`。 4. 禁用防火墙的自动启动: - 原来的命令是`chkconfig iptables off`，而在CentOS 7中，应使用`systemctl disable iptables.service`。 - 验证防火墙状态不再自动启动，可以使用`chkconfig`检查。 5. 安装JDK 1.7: - 安装Java Development Kit (JDK) 1.7，这是Hadoop运行的基础，确保JDK正确安装和配置。 6. 安装Hadoop 1.1.2: - 下载Hadoop 1.1.2的tarball，解压后按照伪分布式配置，通常涉及到编辑配置文件如`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`，以及启动Hadoop守护进程（如namenode、datanode、jobtracker等）。 7. 启动及排查NameNode问题: - 如果在启动Hadoop时遇到NameNode没有启动，可能的原因包括配置文件错误、权限问题或者磁盘空间不足。需检查相关日志以定位问题。 - 执行简单的MapReduce计算，如WordCount示例，以确认Hadoop环境是否配置正确。 8. SSH免密登录设置: - 为了方便远程操作，需设置SSH免密登录，例如通过`ssh-keygen`生成公钥对并配置到目标机器的authorized_keys中。 9. 测试与调试: - 通过Ping命令验证主机与虚拟机间的网络连通性，同时确保虚拟机能够访问外部网络。 整个安装过程需要细心且逐步执行，遇到问题时需要根据提供的解决方案进行排查，确保每个环节的正确性，以避免后续出现更多问题。