重庆交大大数据平台实验5：Python实现成绩数据分析

本次实验是重庆交通大学信息科学与工程学院计算机科学与技术2104班在2023-2024学年度第一学期的大数据平台技术综合实验，旨在让学生通过实践操作掌握大数据处理与分析的基本方法。实验性质为设计性，由李韧老师指导，于2023年10月24日完成，主要在601105三机房进行。 实验目标包括理解大数据处理流程，熟悉数据载入和预处理技术，以及应用基本数据分析方法。实验要求学生提交可测试且正确的程序代码，详细记录实验过程和结果，回答实验报告中的问题。实验环境为Linux操作系统、Python编程语言和Jupyter Notebook开发环境。 实验的核心内容围绕一个班级的期末考试成绩数据展开，具体任务包括但不限于：1）计数数据集中的行数；2）识别并输出各科满分者；3）找出单科0分者；4）找出单科最高分；5）计算每科总分；6）计算每位学生的总分；7）确定总分最高分和最低分；8）计算每科平均分；9）确定总分排名前三的学生。实验过程中，学生需要编写Python或Scala/Java程序，以Spark计算模型为基础，例如通过读取文件、使用count方法统计行数，定义函数过滤特定分数，利用reduce和map操作来处理数据。 在实验过程中，学生需要创建文本文件，录入成绩数据，然后使用Spark的API进行数据处理。具体步骤包括：读取文件、编写Lambda表达式进行筛选、使用reduce函数找到最大值或最小值，以及计算和排序总分。完成实验后，学生需提供代码片段和关键运行结果截图作为实验报告的重要组成部分。 这个实验不仅锻炼了学生的编程技能，还提升了他们对大数据处理工具的理解和应用能力，特别是在数据清洗、聚合和分析方面的实际操作。通过这样的实践，学生能够加深对大数据平台技术的理解，为未来的职业生涯打下坚实的基础。