"第7章:Spark大数据技术与应用-机器学习与模型评估"
![](https://csdnimg.cn/release/wenkucmsfe/public/img/star.98a08eaa.png)
本文是对《Spark大数据技术与应用-第7章.pptx》中第七章节中关于Spark机器学习库的内容进行总结。本章节主要介绍了机器学习的概念、应用和流程,并对Spark MLlib进行了简要介绍。 机器学习是人工智能的子领域,也是人工智能的核心之一。早在20世纪50年代,Samuel就给出了机器学习的定义,即通过特定编程使计算机具备学习能力。百度百科对机器学习的定义更加全面,指出它是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习专门研究计算机如何模拟或实现人类的学习行为,通过获取新的知识或技能,来不断改善自身的性能。 为什么要使用机器学习?机器学习和统计模型等基于模型的方法相比,能够发现人类难以发现的模式,特别是在数据集量级和复杂度较高的情况下。同时,基于模型的方法能够避免个人或情感上的偏见,只要应用时足够细心且正确。 在机器学习的流程中,常见的步骤包括数据获取与存储、数据清理与转换、模型训练、模型测试、模型部署与整合等。其中,数据获取与存储是获取原始数据并进行存储,数据清理与转换是对数据进行清洗和转换的过程,以便于后续的分析和建模。模型训练是通过训练数据集来构建模型,模型测试是对构建好的模型进行评估和验证。最后,将训练好的模型部署到实际应用中,并与其他系统进行整合。 在机器学习的分类中,一种常见的方法是使用标注好的训练数据集来学习一个模型。监督学习是其中的一种方法,包括K-近邻和决策树等。此外,还有无监督学习、半监督学习和强化学习等其他分类方法。 Spark MLlib是Spark的机器学习库,它提供了丰富的机器学习算法和工具,方便用户进行大规模数据的机器学习任务。Spark MLlib支持的机器学习任务包括分类、回归、聚类和推荐等。它还提供了特征提取、特征转换和模型评估等功能,方便用户进行数据预处理和建模过程。 总之,本章节系统介绍了机器学习的概念、应用和流程,并对Spark MLlib进行了简要的介绍。通过掌握机器学习的基本原理和使用Spark MLlib进行机器学习任务的方法,可以帮助用户更高效地进行大规模数据的分析和建模,提高数据的处理效率和质量。
![](https://csdnimg.cn/release/download_crawler_static/19392947/bg7.jpg)
![](https://csdnimg.cn/release/download_crawler_static/19392947/bg8.jpg)
剩余35页未读,继续阅读
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/d3f8ade11cdd4f1d90cb3b7647a2e6fa_qq_45721573.jpg!1)
- 粉丝: 1
- 资源: 2
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 岩石滑动与断层冲击地压:声发射特征分析
- 新时代煤炭工业八大战略新取向剖析
- 开采强度对华亭矿区冲击地压危险性的影响分析
- 新安煤矿探采对比:影响安全生产的关键因素与技术支撑
- 210MW循环流化床锅炉引风机变频改造优化与节能效果
- 浅埋煤层开采沉陷预测:方法应用与影响分析
- 优化巷道过陷落柱支护方案:数值模拟与现场试验
- 坚硬顶板定向断裂爆破技术:安全高效采煤新方案
- 北航2019算法课作业解析:投资策略与凸子多边形优化
- 断层破碎带垮冒下堆积体边界抗力分布关键影响因素
- 哈拉沟选煤厂优化末煤系统提高效率与处理能力
- 瓦斯涌出影响下采动煤体蠕变失稳研究
- 提升煤矿装载效率的可控箕斗定量装载设备设计
- 水分调控下烟煤瓦斯吸附特性对比研究
- 重介质悬浮液密度控制硬件设计与选型探讨
- 坚硬顶板巷道支护参数设计:现场测试与数值分析
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)