本文档记录了在CentOS操作系统中配置安装Hadoop完全分布式环境的过程，适合初学者参考。在安装过程中可能会遇到的问题也给出了相应的解决方案。
一、安装虚拟机与Linux系统
1. 首先，下载并安装VMware Workstation的适配版本，根据个人计算机的操作系统选择32位或64位。
2. 接下来，获取CentOS系统的镜像文件，使用VMware创建新的虚拟机，并指定镜像文件。
3. 在虚拟机设置中，设定用户名和密码，磁盘大小建议设置为30GB，并调整虚拟机内存至1GB左右。
4. 完成以上步骤后，Linux系统即安装完毕。
遇到的问题：Linux系统无法连接网络
解决方法：检查并启用必要的网络服务，具体操作如图所示（原文提供图片未显示）。
二、安装JDK
1. 下载JDK 1.8，并将其安装到Linux系统中。
2. 将Windows中的JDK文件传输到虚拟机：
- 启动VMware Player。
- 开启虚拟机系统。
- 在VMware Player中设置共享文件夹，将Windows的文件夹共享给虚拟机。
- 在Windows中映射网络驱动器，确保Linux可以访问共享文件夹。
- 将JDK文件复制到共享文件夹中，然后在Linux中找到并复制到系统中。
3. 使用命令行安装JDK：
- 进入JDK的安装文件所在目录，执行`rpm -ivh +jdk安装文件路径`来安装。
- 安装完成后，通过`java -version`命令验证JDK是否正确安装。
三、Hadoop安装配置
1. 配置相关文件：
在安装Hadoop之前，需要确保已正确配置Java环境，可以通过修改`/etc/profile`文件来实现。
2. 修改文件内容：
使用`vi`编辑器进入`/etc/profile`，按下'i'键进入编辑模式，编辑完成后按'Esc'退出编辑模式，接着输入`:w`保存，`:q`退出，或者`:wq`保存并退出，`:!q`强制退出。
3. 在`/etc/profile`文件末尾添加以下内容以设置Java环境变量：
```
export JAVA_HOME=/path/to/jdk安装目录
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
```
四、Hadoop环境配置
1. 下一步，需要配置Hadoop的相关配置文件，如`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`等。
2. 设置HDFS的名称节点和数据节点，以及YARN的资源管理器和节点管理器。
3. 修改` slaves`文件，列出所有数据节点的主机名。
4. 初始化NameNode格式化，并启动Hadoop服务。
遇到的问题：如何在终端中修改文件内容
解决方法：使用文本编辑器如`vi`或`nano`，按照编辑器的使用说明进行操作。
在完成上述步骤后，Hadoop的完全分布式环境应已成功配置，可以通过Hadoop命令行工具进行测试，如`hadoop fs -ls`来检查HDFS的状态。如果在安装或配置过程中遇到问题，可以参考文档中的建议或寻求进一步的帮助。
我的内容管理
展开
