西南交大云计算实践：单机与多机Hadoop搭建及WordCount实验

本资源是一份关于西南交通大学云计算课程的作业指导，主要聚焦于Hadoop框架的单机和多机环境搭建，以及相关的实验操作。作业包括两个部分： **第一部分：Hadoop环境搭建（单机）** - 学生首先在单台虚拟机上进行操作，涉及的步骤有：安装虚拟机并配置基础参数，如主机名称的更改；切换到合适的软件源以方便后续软件的安装；安装Java，并设置环境变量以确保其有效性；接着下载并安装Hadoop，进行解压和配置；配置完成后，通过执行JPS命令来确认Hadoop环境是否正确安装。 **第二部分：Hadoop环境搭建（多机）** - 在多机环境中，学生需将一台机器设为主节点（Master），另一台设为从节点（Slave）。这涉及网络配置，如IP映射和机器间的免密登录设置，通常通过SSH实现。学生需要修改五个核心配置文件（slaves、core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml）以适应多节点架构，同时清理临时文件和日志，并将Hadoop打包发送到从节点。 - 在从节点上，原有的Hadoop需要卸载并替换为新的版本，然后按照配置启动Hadoop集群。 **实验部分：** - **Shell命令操作**：学生通过shell命令进行基础的HDFS操作，如创建目录、写入文件、上传文件并查看内容。 - **Java接口访问**：使用Eclipse开发环境，学生创建Java项目并导入Hadoop相关依赖，编写Java程序以实现读取文件内容、输出等操作，同时也演示了如何通过API进行文件操作，如创建目录、上传和下载文件，以及删除文件夹。 - **WordCount实验**：学生利用提供的代码，通过指定IP地址创建文件，输入文本内容，然后执行WordCount算法，对文件中的单词进行计数，并输出结果。这个环节展示了Hadoop的分布式计算能力，特别是MapReduce模型的实际应用。 通过这个作业，学生不仅掌握了Hadoop的安装、配置和管理，还深入了解了其分布式文件系统和并行处理的核心原理，为实际的云计算和大数据处理打下坚实的基础。