广州大学软件工程3实验一:数据融合与清洗
本篇实验报告由广州大学计算机科学与网络工程学院软件实验室的18级软件工程3班学生李子轩于2020年11月20日完成。实验内容围绕数据处理和整合,旨在解决实际问题,即合并来自不同来源的学生数据,包括一个存储在数据库中的数据源(Stu表)和一个来自txt文件的数据源。数据源具有不同的结构和格式,如数据库中的整数类型和浮点数,以及txt文件中的字符串表示。 实验的核心任务包括: 1. 数据集成:从数据库的Stu表中提取学生的ID、姓名、家乡、性别、身高、课程成绩(1-10门课程)以及体能测试成绩。而txt文件中的数据需要通过格式转换,将字符串成绩转换为数值形式。 2. 数据清洗:处理两个数据源中存在的缺失值、冗余和不一致性。这可能涉及到数据校验、去重和异常值处理。 3. 数据一致性:确保在整合过程中,学生的ID和课程成绩在两个数据源中是一致的,且遵循相同的评分标准(百分制和十分制之间的转换)。 4. 数据量化:对于文本形式的成绩,如百分比和十分制,需要将其转换为数值形式,以便进行后续的统计分析。 5. 使用工具和技术:实验主要使用Python编程语言,利用pandas库进行数据处理,如读取CSV文件(data_source1.csv和data_source2-逗号间隔.csv),数据合并(tempFile.csv),以及数据清洗和统计。此外,还使用了glob模块来管理文件操作,csv模块用于处理CSV文件格式。 6. 手动计算:由于题目限制,某些计算部分不能依赖库函数,所以需要手动编写函数来进行数值转换和统计计算。 7. 结果输出:最终,整合并清洗后的数据保存在objectFile.csv文件中,提供了全面的学生信息,可用于进一步的数据分析或报告生成。 在整个实验过程中,学生需充分理解和应用数据库查询、文件处理、数据清洗和编程技能,以达到预期的项目目标。
![](https://csdnimg.cn/release/download_crawler_static/86373956/bg1.jpg)
下载后可阅读完整内容,剩余6页未读,立即下载
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![m](https://img-home.csdnimg.cn/images/20210720083646.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://profile-avatar.csdnimg.cn/9d907a8d736541679694c8ec7ac863fe_weixin_35795512.jpg!1)
- 粉丝: 32
- 资源: 285
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 解决Eclipse配置与导入Java工程常见问题
- 真空发生器:工作原理与抽吸性能分析
- 爱立信RBS6201开站流程详解
- 电脑开机声音解析:故障诊断指南
- JAVA实现贪吃蛇游戏
- 模糊神经网络实现与自学习能力探索
- PID型模糊神经网络控制器设计与学习算法
- 模糊神经网络在自适应PID控制器中的应用
- C++实现的学生成绩管理系统设计
- 802.1D STP 实现与优化:二层交换机中的生成树协议
- 解决Windows无法完成SD卡格式化的九种方法
- 软件测试方法:Beta与Alpha测试详解
- 软件测试周期详解:从需求分析到维护测试
- CMMI模型详解:软件企业能力提升的关键
- 移动Web开发框架选择:jQueryMobile、jQTouch、SenchaTouch对比
- Java程序设计试题与复习指南
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)