Hadoop MapReduce实战：从单词计数到矩阵运算与网页排名

在本篇文档中，主要介绍了南华大学计算机学院软件工程1904班学生罗首峰在2021~2022学年度第一学期进行的Hadoop原理与技术MapReduce实验。实验旨在通过实际操作来熟悉Hadoop开发环境，包括掌握Hadoop开发包的使用，以及编写、调试和运行MapReduce程序。 实验的第一部分强调了四个主要目标：熟悉Hadoop开发工具，编写MapReduce程序，调试和执行程序，并完成课堂演示的任务。实验在Windows 10系统和VMware Workstation Pro虚拟机上进行，配以Hadoop环境和Java Development Kit 1.8。 实验的核心内容围绕三个具体的MapReduce应用展开：单词计数、矩阵相乘和网页排名。参与者需要分别执行以下步骤： 1. 单词计数实验： - 启动Hadoop进程和相关端口。 - 检查任务在localhost:8088和localhost:50070的启动状态。 - 编写并打包wordcount代码到jar包。 - 将本地文件上传到HDFS，然后运行MapReduce任务。 - 查看运行结果，并通过网页监控任务进度。 2. 矩阵相乘实验： - 编写matrix代码并打包成jar。 - 重复上传文件和运行MapReduce的过程，查看结果。 3. 网页排名实验（pagerank）： - 编写对应的pagerank代码。 - 上传文件并执行，同样检查结果并在网页上查看任务。 在实验过程中，罗首峰遇到了一些挑战，如文件上传问题、虚拟机内存限制和代码文件名对应问题。通过查阅资料，他逐渐解决了这些问题，这体现了实验过程中解决问题和自我学习的重要性。 实验总结部分提到，虽然课堂讲解详细，但实际操作时仍需面对一些细节问题，这显示了理论学习与实践经验相结合的必要性。通过这次实验，罗首峰不仅掌握了MapReduce的基本操作，还提高了问题解决和自学能力，为大数据处理的实际应用打下了基础。