Spark 2.0 ML实战:从基础到环境配置
Spark2.x实战是一门由Spark2.0ML机器学习讲师黄美灵在DATAGURU专业数据分析社区分享的课程,主要涵盖了Spark及其ML库(Spark MLlib)的详细介绍。课程旨在帮助学习者理解和应用Spark在大数据处理中的强大功能,特别是针对机器学习任务。 Spark是Apache开源的实时数据处理框架,以其高效的数据处理能力、内存计算模型和易用的API而著名。Spark 2.0引入了Spark MLlib,这是一个专门为大规模机器学习任务设计的库,提供了一系列预先实现的机器学习算法,如分类、回归、聚类和协同过滤等。 在课程中,首先对Spark进行了概述,介绍了Spark的交互窗口模式,即spark-shell,它允许用户通过交互式地执行Scala命令来操作数据。启动Spark-shell时,需要指定集群的master地址、Executor和Driver的内存大小以及核心数和执行器数量。例如,使用`sudospark-shell --executor-memory 2g --driver-memory 1g --executor-cores 2 --num-executors 4 --master spark://192.168.180.156:7077`。 课程的重点是Spark MLlib,它包含了丰富的机器学习算法和工具。黄美灵讲师将带领学员从基础入门,理解Spark Datasets和DataFrame API,这是Spark 2.0引入的一种新的数据处理方式,它提供了更统一、高效的接口,可以方便地进行数据加载、转换和分析。Spark Datasets支持延迟执行,只有在真正需要计算结果时才会触发实际操作,这在大数据处理中具有显著的优势。 通过实践操作,学员将学习如何使用`spark.read.csv()`函数读取CSV文件,并利用Spark MLlib中的算法进行模型训练和预测。此外,课程还将涵盖个人介绍部分,黄美灵讲师的背景包括《Spark MLlib机器学习:算法、源码及实战详解》的作者身份,以及她在移动互联网计算广告和数据变现领域的实践经验。 这门课程是Spark初学者和进阶者的宝贵资源,旨在帮助学员掌握Spark 2.x的基石技术,并将其应用于实际的机器学习项目中。
![](https://csdnimg.cn/release/download_crawler_static/10767054/bgd.jpg)
![](https://csdnimg.cn/release/download_crawler_static/10767054/bge.jpg)
![](https://csdnimg.cn/release/download_crawler_static/10767054/bgf.jpg)
![](https://csdnimg.cn/release/download_crawler_static/10767054/bg10.jpg)
剩余77页未读,继续阅读
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![txt](https://img-home.csdnimg.cn/images/20210720083642.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
- 粉丝: 0
- 资源: 1
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 解决Eclipse配置与导入Java工程常见问题
- 真空发生器:工作原理与抽吸性能分析
- 爱立信RBS6201开站流程详解
- 电脑开机声音解析:故障诊断指南
- JAVA实现贪吃蛇游戏
- 模糊神经网络实现与自学习能力探索
- PID型模糊神经网络控制器设计与学习算法
- 模糊神经网络在自适应PID控制器中的应用
- C++实现的学生成绩管理系统设计
- 802.1D STP 实现与优化:二层交换机中的生成树协议
- 解决Windows无法完成SD卡格式化的九种方法
- 软件测试方法:Beta与Alpha测试详解
- 软件测试周期详解:从需求分析到维护测试
- CMMI模型详解:软件企业能力提升的关键
- 移动Web开发框架选择:jQueryMobile、jQTouch、SenchaTouch对比
- Java程序设计试题与复习指南
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)