使用python实现mapreduce（wordcount）.doc_mapreducewordcountpython - CSDN文库

需积分: 48 196 浏览量更新于2023-03-16 评论 1 收藏 33KB DOC 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

 实现  的 （ 平台）

 作为  的基金项目，解决的大数据处理时间长的问题，其中 

并行处理框架作为  中重要的成员。由于  的架构实现是由  实现的，所

以在进行大数据处理时， 程序用的较多，但是，想要把深度学习算法用到 

中， 是深度学习和数据挖掘处理数据较为容易的语言，所以基于以上考虑，本文介

绍了使用  实现  中的  实验，文章内容（代码部分）来自于某

一博主  博客，发布的会给上参考链接。

主要使用的  提供的 ，首先，介绍一下 

， 的作用

 框架，最大的好处是，让任何语言编写的  程序能够

在  集群上运行； 程序只要遵循从标准输入  读，写出到标准输

出  即可；

其次，容易进行单机调试，通过管道前后相接的方式就可以模拟 在本

地完成  程序的调试

!"#$$ $%

最后，  框架还提供了作业提交时的丰富参数控制，直接通过 

参数，而不需要使用 &' 语言修改；很多  的高阶功能，都可以通过

 参数的调整来完成。

(， 的局限

 默认只能处理文本数据 )*"#，对于二进制数据，比较好的方法是将二

进制的 +'# 进行 , -. 编码，转化为文本；

 和  的前后都要进行标准输入和标准输出的转化，涉及数据拷贝和

解析，带来了一定的开销。

/， 命令的相关参数0普通选项、  选项1

!&2 2(3-343&56普通选项76 选项7

普通选项和  选项可以参考如下网址：

8 9:::3,# 3 2;&<<.=-=3#

Python 实现 MapReduce 的 WordCou：

（）首先，编写 3 脚本：

!> ,'



  



! ?)@0 1

?#  3 9

!'##: 

#A#3 01

! ##: 

: A#3 #01

!  

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余3页未读，立即下载

评论0

飞翔的荷兰人号z

粉丝: 85
资源: 7

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈