Spark Summit 2013:无代码迁移Hadoop Streaming到Spark,加速用户模型更新
需积分: 0 44 浏览量
更新于2024-07-23
收藏 3.93MB PDF 举报
在2013年的Spark Summit会议上,来自Yahoo的Gavin Li、Jaebong Kim和Andy Feng发表了关于将AEX(Audience Expansion)管道从Hadoop Streaming迁移到Spark的演讲。他们的目标是显著提高用户模型刷新速度至少两倍。这次演讲的重点在于阐述他们如何创新地实现这一迁移,无需任何代码改动。
首先,他们讨论了Yahoo Audience Expansion项目,这是一个基于Spark的应用,其核心是通过机器学习技术来扩大用户群体,通过训练模型找出与样本用户行为相似的潜在用户。这个系统依赖于大规模的机器学习能力,包括逻辑回归算法,处理的数据量达到TB级别,输入和中间数据规模巨大。在Hadoop Pipeline中,这个过程需要运行超过3万个map任务,2000个reduce任务,耗时长达16小时,涉及大约20个Hadoop Streaming作业。
然而,使用Spark的主要优势在于减少延迟和成本。传统的Hadoop Streaming架构存在性能瓶颈,特别是对于IO密集型任务,如6-7小时的标签标注阶段,产生了17TB的中间IO。Spark以其更高的并发性和内存计算能力,极大地优化了这些步骤,使得整个过程可以在更短的时间内完成。
在Spark中,他们实现了特征提取,从原始事件中抽取有用信息,这是模型训练阶段中的CPU密集型任务。他们采用了逻辑回归作为主要的机器学习模型,这一步骤在Spark环境下得到了高效的执行。Spark的并行处理能力显著提升了整个AEX管道的效率,使得即使是大型数据处理也能在更短的时间内完成,从而实现了从Hadoop Streaming到Spark的高效迁移。
Gavin Li、Jaebong Kim和Andy Feng在Spark Summit 2013上分享了他们在Yahoo如何通过创新性的迁移策略,利用Spark的可扩展性、高性能和内存计算优势,成功优化了大数据环境下的用户增长引擎,显著提高了数据处理速度和降低运营成本。这场演讲展示了Spark在处理大规模、复杂的数据分析任务中的潜力,以及它如何成为大数据处理领域的新标准。
2023-09-01 上传
2012-11-16 上传
2019-08-21 上传
2023-11-24 上传
2023-06-07 上传
2023-09-21 上传
2023-02-21 上传
2023-06-09 上传
2023-06-09 上传
![](https://profile-avatar.csdnimg.cn/4e0f516b270c475eb510835f069702e2_villa123.jpg!1)
villa123
- 粉丝: 418
- 资源: 237
最新资源
- 计算机人脸表情动画技术发展综述
- 关系数据库的关键字搜索技术综述:模型、架构与未来趋势
- 迭代自适应逆滤波在语音情感识别中的应用
- 概念知识树在旅游领域智能分析中的应用
- 构建is-a层次与OWL本体集成:理论与算法
- 基于语义元的相似度计算方法研究:改进与有效性验证
- 网格梯度多密度聚类算法:去噪与高效聚类
- 网格服务工作流动态调度算法PGSWA研究
- 突发事件连锁反应网络模型与应急预警分析
- BA网络上的病毒营销与网站推广仿真研究
- 离散HSMM故障预测模型:有效提升系统状态预测
- 煤矿安全评价:信息融合与可拓理论的应用
- 多维度Petri网工作流模型MD_WFN:统一建模与应用研究
- 面向过程追踪的知识安全描述方法
- 基于收益的软件过程资源调度优化策略
- 多核环境下基于数据流Java的Web服务器优化实现提升性能