没有合适的资源?快使用搜索试试~ 我知道了~
首页奇偶直方图负载均衡提升超立方云MapReduce模型性能
奇偶直方图负载均衡超立方对等云MapReduce模型是一项针对大数据处理中传统MapReduce算法性能瓶颈的研究。MapReduce是一种分布式计算模型,常用于大规模数据处理,但在处理大量并发请求时,由于任务分配和调度问题,可能会导致负载不均衡,影响整体性能。论文提出了一种新的层次MapReduce模型,旨在解决这个问题。 该模型的核心创新在于采用超立方拓扑结构对MapReduce的映射阶段进行了优化。超立方结构允许将多个数据中心以一种高效的方式连接起来,形成一个对等的云环境。这种结构使得数据和计算资源可以更加灵活地分配和共享,从而实现负载均衡。通过奇偶直方图组合采样方式,算法能精确地将任务划分到各个节点上,确保每个节点的工作量相对均衡,减少过载和等待时间。 奇偶直方图是一种统计方法,它结合了奇偶性分析来优化数据分布,使得数据的划分既能保持局部的负载平衡,又能全局上达到均衡。组合采样则进一步提高了采样效率,减少了不必要的计算,提升了系统的整体性能。 在实验部分,研究者基于Hadoop框架进行了仿真实验,结果显示,相比于传统的MapReduce模型,新的层次MapReduce模型在并行计算资源的利用率上有显著提高,同时在容错能力和负载均衡性能上也有所增强。这表明,通过引入奇偶直方图和组合采样策略,模型能够更有效地应对大数据处理中的挑战,提升系统的稳定性和效率。 该研究为云计算环境下的大数据处理提供了一种创新的解决方案,对于提高大数据处理的效率和可靠性具有重要的理论和实践意义。在未来的信息技术发展中,这种层次MapReduce模型有望在大规模分布式计算领域发挥重要作用。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/18219771/bg1.jpg)
书书书
收稿日期:20141225;修回日期:20150215 基金项目:国家自然科学基金资助项目(61462069)
作者简介:韩艳(1981),女,讲师,硕士,主要研究方向为云计算安全(hanyannkd@sina.cn);王静宇(1976),男,副教授,博士,主要研究方向
为云计算与信息安全有关理论和技术;谭跃生(1959),男,教授,硕士,主要研究方向为高性能计算、云计算、大规模数据处理与挖据.
奇偶直方图负载均衡超立方对等云 MapReduce模型
韩 艳
1a
,王静宇
2
,谭跃生
1b
(1.内蒙古科技大学 a.工程训练中心;b.信息与网络中心,内蒙古 包头 014010;2.北京科技大学 计算机与
通信工程学院,北京 100083)
摘 要:针对传统 MapReduce算法结构在处理大数据时,负载均衡性能不理想的缺点,设计了一种具有负载均
衡机制的层次 MapReduce模型。该模型利用超立方拓扑结构对 MapReduce的映射操作进行改进,通过特定算法
将八个结构化的数据中心链接到一个对等的云环境结构中,并使用奇偶直方图组合采样方式的均衡划分方法,
实现在用户请求下的节点工作负荷指数均衡。最后,基于 Hadoop框架对所提算法进行仿真实验,结果显示所提
算法结构相对于原始
MapReduce结构,具有更高的并行计算的资源利用率,以及更佳的容错和负载均衡性能,综
合性能得到有效提升。
关键词:奇偶;直方图;组合采样;负载均衡;超立方;层次 MapReduce模型
中图分类号:TP311 文献标志码:A 文章编号:10013695(2016)04107504
doi:10.3969/j.issn.10013695.2016.04.025
Parityhistogramsamplingcombinedloadbalancingpartitioningfor
hypercubecloudhierarchicalMapReducemodel
HanYan
1a
,WangJingyu
2
,TanYuesheng
1b
(1.a.EngineeringTrainingCenter,b.Information&NetworkCenter,InnerMogoliaUniversityofScience&Technology,BaotouInnerMogolia
014010,China;2.SchoolofComputer&CommunicationEngineering,UniversityofScience&TechnologyBeijing,Beijing100083,China)
Abstract:AccordingtothetraditionalMapReducealgorithm inprocessinglargedatastructurehadnoidealperformancefor
faulttolerantrateandloadbalancing
,thispaperdesignedahierarchicalMapReducemodelwithloadbalancingmechanism.The
usedofhypercubetopologymappingoperationontheMapReduceimprovedtheperformanceofthemodel.andthroughaspecif
icalgorithm,eightstructuredlinkedthedatacentertoapeertopeercloudenvironmentstructure,thenusedtheequilibrium
partitioningmethodwiththeparityhistogramcombinedsamplingmethodtorealizethenodeworkloadbalancingundertheus
er
’srequest.Finally,itmadethesimulationonHadoopframeworkfortheproposedalgorithm,whichshowsthattheproposed
algorithmismoreefficiencyinutilizationrateofparallelcomputingresources,andbetterfaulttoleranceandloadbalancingper
formancethantheoriginalMapReducestructure
,sotheimprovedmethodeffectivelyenhancesthecomprehensiveperformance
ofproposedalgorithm.
Keywords:parity;histogram;compositesampling;loadbalancing;hypercube;hierarchicalMapReducemodel
随着科技的发展,物联网等网络技术日渐成熟,数据产生
的多元化和大数据时代已经到来。MapReduce是一种可并行
化的分布式计算模型,目前已得到广泛应用
[1]
。
但是在具体使用过程中,由于 Hadoop框架设计特点,常常
会出现在 Reduce操作时计算资源分布不均的现象,不利于计
算效率的提升。针对此类问题,文献[2]对不同任务的执行时
间进行排序,然后按照执行时间进行任务主机划分,从而保证
任务主机完成任务的同步性,但是存在的问题是主机处理性能
存在差异,而且增加了网络传输成本。文献[
3]基于历史数据
进行分析,确定 Reduce操作任务划分,存在的问题是这种方法
只适合周期性有规律的任务进行处理,不具有普适性。文献
[4]提出基于采样的负载均衡划分方法。文献[5]基于此提出
直方图采样方式的负载均衡改进方法。
本文主要工作是在文献[4,5]的基础上,利用超立方拓扑
结构对 MapReduce的映射操作进行改进,然后基于此结构设
计直方图组合采样方式的负载均衡改进方法。
!
超立方对等云层次
"#$%&'()&
!
!
"#$%&'()&
模型
传统的 MapReduce模型是现有研究较为成熟的分布式计
算方向,该模型结构为并行计算提供了可行的计算模式。该计
算框架主要包含两个操作步骤,即 Map和 Reduce操作,因此
该结构以这两个操作的组合进行命名
MapReduce
[6]
。前一种
操作本质是一种映射,通过对原始数据集中的个体进行 Map
映射操作,为下一步的 Reduce操作提供可供降维的数据特征。
Map映射操作后返回中间结果,然后 Reduce降维操作对此中
间结果进行并行化操作,实现数据计算量的大幅降低,算法结
构如图 1所示。
在 MapReduce模型中,原始的数据通过映射操作和降维
操作被处理为相互独立的子进程,并可实现并行运行,有利于
发挥计算资源性能最大化。
Map和 Reduce操作框架主要由键
第 33卷第 4期
2016年 4月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol33No4
Apr.2016
下载后可阅读完整内容,剩余3页未读,立即下载
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
weixin_38607554
- 粉丝: 5
- 资源: 970
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 解决Eclipse配置与导入Java工程常见问题
- 真空发生器:工作原理与抽吸性能分析
- 爱立信RBS6201开站流程详解
- 电脑开机声音解析:故障诊断指南
- JAVA实现贪吃蛇游戏
- 模糊神经网络实现与自学习能力探索
- PID型模糊神经网络控制器设计与学习算法
- 模糊神经网络在自适应PID控制器中的应用
- C++实现的学生成绩管理系统设计
- 802.1D STP 实现与优化:二层交换机中的生成树协议
- 解决Windows无法完成SD卡格式化的九种方法
- 软件测试方法:Beta与Alpha测试详解
- 软件测试周期详解:从需求分析到维护测试
- CMMI模型详解:软件企业能力提升的关键
- 移动Web开发框架选择:jQueryMobile、jQTouch、SenchaTouch对比
- Java程序设计试题与复习指南
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)