本篇Hadoop学习笔记记录了作者在配置Hadoop集群过程中的关键步骤和注意事项,主要针对的是在Windows环境下搭建集群,以及在CentOS 6和CentOS 7系统中进行网络配置。以下是详细的内容概述:
1. **Hadoop基础搭建**:
- **搭建集群**:首先,确保在Windows环境中,虚拟机网络设置正确,特别是VMware的`vmnet8`网关IP需要与Windows的默认网关处于同一网段,这里提到Windows的默认网关是`221`。同时,配置DNS服务器,如使用Google DNS(8.8.8.8),这有助于解决网络连接问题。
2. **网络配置**:
- **CentOS 6**:
- 在CentOS 6系统中,编辑`/etc/udev/rules.d/70-persistent-net.rules`文件来管理网络设备的标识符。
- 进一步编辑`/etc/sysconfig/network-scripts/ifcfg-eth0`,设置静态IP地址,例如通过`BOOTPROTO="static"`指定,并配置其他必要的网络参数,如`DEFROUTE`和`IPV6INIT`等。
- **CentOS 7**:
- 对于CentOS 7,网络配置略有不同,但同样涉及编辑`ifcfg-eth0`文件,设置静态IP地址,注意类型(TYPE)、代理方法(PROXY_METHOD)、是否仅用于浏览器(BROWSER_ONLY)等参数。
3. **mac地址和IP地址修改**:
- 配置过程中,可能需要手动修改或随机生成MAC地址,以避免冲突。具体操作涉及`vim`编辑器,如在CentOS 6中对`/etc/udev/rules.d/70-persistent-net.rules`添加或更新相关行,以指定正确的mac地址。
4. **提示与注意事项**:
- 学习者在实际操作时应确保网络环境的连通性和安全性,尤其是当涉及到生产环境部署时,静态IP和正确的网络配置至关重要。
通过这篇笔记,读者可以了解到在安装和配置Hadoop集群时,尤其是在Linux系统下处理网络配置的细节。这对于理解和实践Hadoop技术栈的开发人员来说,是一份实用的学习资料。