没有合适的资源?快使用搜索试试~ 我知道了~
首页论文研究-一种基于Hadoop的个性化推荐系统架构 .pdf
论文研究-一种基于Hadoop的个性化推荐系统架构 .pdf
需积分: 0 12 下载量 32 浏览量
更新于2023-05-16
评论 1
收藏 365KB PDF 举报
一种基于Hadoop的个性化推荐系统架构,张永霞,王洪波,随着计算机技术的发展和互联网的快速普及,如何快速的从海量数据中获取用户想要的信息逐步成为用户关注的焦点之一。个性化推荐系
资源详情
资源评论
资源推荐
http://www.paper.edu.cn
- 1 -
中国科技论文在线
一种基于 Hadoop 的个性化推荐系统架构
#
张永霞,王洪波,程时端
**
基金项目:高等学校博士学科点专项科研基金(200800131019)
作者简介:张永霞,(1985-),女,工学硕士,主要研究方向:海量数据分析与个性化推荐。
通信联系人:王洪波,(1975-),男,副教授,主要研究方向:云计算与数据中心网络、互联网服务质量
管理与测量等。E-mail: hbwang@bupt.edu.cn
(北京邮电大学网络与交换技术国家重点实验室,北京 100876)
摘要:随着计算机技术的发展和互联网的快速普及,如何快速的从海量数据中获取用户想要5
的信息逐步成为用户关注的焦点之一。个性化推荐系统应运而生,通过获取用户在互联网上
的日志信息,分析用户的喜爱偏好,从而为用户推荐其可能感兴趣的信息。然而,随着互联
网的发展,互联网上充斥的用户日志信息越来越多,个性化推荐系统面临着存储空间的可扩
展性与分析计算的效率等瓶颈问题,单纯依靠提升计算机存储空间和计算性能显然不能从根
本上解决问题。本文针对该问题,以基于 Hadoop 分布式文件存储 HDFS 和分布式计算框架10
Map/Reduce 的工具为基础,针对本文的应用场景对 Mahout 实现的推荐算法做了优化,实现
了一种基于分布式计算框架 Hadoop 之上的个性化推荐系统架构,并通过实验证明该方案解
决了数据存储的可扩展性和计算性能方面的问题,一定程度上提高了推荐的准确率。
关键词:计算机应用技术;分布式计算;海量数据;个性化推荐;Hadoop
中图分类号:TP393.1 15
A personalized recommendation system framework based
on Hadoop
Zhang Yongxia, Wang Hongbo, Cheng Shiduan
(State Key Laboratory of Networking and Switching Technology, Beijing University of Posts & 20
Telecommunications, Beijing 100876)
Abstract: As the increase of the network data, how to obtain the information quickly is becoming
one of the most important problem for users. Personalized recommendation system is used to
analysis the users behavior log and get the users favorite preferences, then help the users get what
they want fastly. However, more and more information makes to produce a series of problems, 25
such as the scalability,the computing performance. To solve this problem, this paper proposes a
solution that designing and implementing a personalized recommendation system framework
based on Hadoop, and optimizing the code of the Mahout to improve the accuracy rate of the
recommendation system. The experiments results validate that the recommendation accuracy rate
is improved and computing performance is enhanced more than the stand-alone mode.
30
Keywords: Computer application technology; Distributed Computation; Mass data; Personalized
Recommendation; Hadoop
0 引言
随着计算机技术的发展和互联网的快速普及,互联网上充斥的各种信息越来越多,如何35
快速的从海量数据中获取想要的信息,逐步成为用户关注的焦点之一,个性化推荐随着用户
的这一需求而产生发展起来。用户在互联网上获取信息的同时留下了个人独特的日志信息,
通过分析用户的日志信息挖掘出用户对各种信息的偏好,进而为用户推荐其可能感兴趣的信
息,避免用户迷失在海量的互联网数据中。然而,从用户的日志信息中挖掘用户偏好,需要
存储用户日志;为用户产生推荐,需要高效有用的推荐算法。传统的推荐系统将用户日志信40
息存储于关系数据库中,采用单机的推荐算法进行推荐计算,随着数据量的增长可以采取提
升计算机性能方式来解决瓶颈问题,但是当数据量上升到海量级别时,单纯依靠提升计算机
的存储量和计算性能显然不能从根本上解决问题,而且面临巨大的成本开销。
weixin_39840387
- 粉丝: 784
- 资源: 3万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0