重庆交大2023-2024学年MapReduce实验报告：大数据平台技术

本次实验是针对重庆交通大学信息科学与工程学院2023-2024学年度第一学期的大数据平台技术课程，由计算机科学与技术2104班学生邹鹏声（学号632002090714）进行。实验项目名为MapReduce分布式计算技术实验，具有设计性性质，目的是让学生掌握MapReduce的基本应用，包括数据准备、算法实现和结果验证。 实验主要分为两个部分： 1. **MapReduce数据准备实验** - 实验内容要求学生在Linux环境中创建一个包含英文单词的文本文件，如`english.txt`，并通过HDFS（Hadoop Distributed File System）上传到`input1`文件夹中。同时，还将Hadoop安装目录下的`etc/hadoop`下所有xml文件上传至`input2`文件夹，以展示文件管理和操作。 - 实验过程中需要展示相应的Shell界面截图，如创建文件、上传文件的操作步骤。 2. **基于MapReduce的圆周率计算实验** - 本部分的核心任务是利用MapReduce框架实现一个算法，计算圆周率的近似值。学生需要熟悉MapReduce的工作原理，编写Map和Reduce函数来处理数据，以便得到结果接近3.14159的圆周率估计。 - 学生需要在`share/hadoop/mapreduce`文件夹下找到相关的MapReduce脚本，并展示执行过程的Shell界面截图，以证明算法的正确性和运行效果。 在整个实验过程中，学生需要确保程序的正确性，通过测试验证其功能，并将实验过程详细记录在实验报告中，包括实验步骤、结果截图以及对实验内容的理解和思考。此外，实验要求保存所有程序，并进行个人档案管理。 通过这个实验，学生将加深对MapReduce的理解，学会如何在分布式环境下处理大规模数据，并且提升编程和问题解决能力。这也是大数据平台技术课程的重要实践环节，有助于培养学生的实际操作技能和理论应用结合的能力。