第
３
６
卷
第
２
期
陕西科技大学学报
Ｖ
ｏｌ．３６Ｎｏ．２
２０１８
年
４
月
Ｊ
ｏｕｒｎａｌ
ｏｆ
Ｓｈａａｎｘｉ
Ｕｎｉｖｅｒｓｉｔ
ｙ
ｏｆ
Ｓｃｉｅｎｃｅ
＆ Ｔｅｃｈｎｏｌｏ
ｇｙ
Ａ
ｐ
ｒ．２０１８
＊
文
章编号
：
２０９６
－
３
９８Ｘ
（
２０１８
）
０２
－
０
１５４
－
０
６
基
于
Ｈａｄｏｏ
ｐ
个性化推荐算法设计与实现
刘
斌
，
李
帆
，
姚
斌
（
陕西科技大学
电气与信息工程学院
，
陕西 西安
７１００２１
）
摘
要
：
为了提升
个性化推荐系统的大数据处理能力
，
选择基于用户聚类协同过滤的个性化推
荐算法
，
并在
Ｈ
ａｄｏｏ
ｐ
平
台下实现算法的分布式并行化
．
离线状态下对用户物品矩阵降维
，
对
用户进行聚类得到类别信息列表
，
对用户在类簇内进行推荐
，
并在相似度计算内引入物品贡献
权重
，
最后对算法实现并行化得到推荐结果
，
实现基于用户聚类的分布式协同过滤推荐算法
．
最后对推荐结果进行测试分析
，
证明分布式个性化推荐有更好的推荐准确性和实时性
．
关键词
：
Ｈ
ａｄｏｏ
ｐ
；
协
同过滤
；
聚类
；
相似度
；
并行化
中图分类号
：
Ｔ
Ｐ３９１．３
文
献标志码
：
Ａ
Ｄ
ｅｓｉ
ｇ
ｎ
ａｎｄ
ｉｍ
ｐ
ｌｅｍｅｎｔａｔｉｏｎ
ｏｆ
ｒｅｃｏｍｍｅｎｄａｔｉｏｎ
ａｌ
ｇ
ｏｒｉｔｈｍ
ｂａｓｅｄ
ｏｎ
Ｈａｄｏｏ
ｐ
Ｌ
ＩＵ
Ｂｉｎ
，
ＬＩ
Ｆａｎ
，
ＹＡＯ
Ｂｉｎ
（
Ｃ
ｏｌｌｅ
ｇ
ｅ
ｏｆ
Ｅｌｅｃｔｒｉｃａｌ
ａｎｄ
Ｉｎｆｏｒｍａｔｉｏｎ
Ｅｎ
ｇ
ｉｎｅｅｒｉｎ
ｇ
，
Ｓｈａａｎｘｉ
Ｕｎｉｖｅｒｓｉｔ
ｙ
ｏｆ
Ｓｃｉｅｎｃｅ
＆ Ｔｅｃｈｎｏｌｏ
ｇｙ
，
Ｘｉ′ａｎ
７１００２１
，
Ｃｈｉｎａ
）
Ａ
ｂｓｔｒａｃｔ
：
Ｉｎ
ｏｒｄｅｒ
ｔｏ
ｉｍ
ｐ
ｒｏｖｅ
ｔｈｅ
ｐ
ｒｏｃｅｓｓｉｎ
ｇ
ｃａ
ｐ
ａｃｉｔ
ｙ
ｏｆ
ｐ
ｅｒｓｏｎａｌｉｚｅｄ
ｒｅｃｏｍｍｅｎｄａｔｉｏｎ
ｓ
ｙ
ｓｔｅｍ
ｉｎ
ｂｉ
ｇ
ｄａｔａ
，
ｔｈｅ
ｐ
ｅｒｓｏｎａｌｉｚｅｄ
ｒｅｃｏｍｍｅｎｄａｔｉｏｎ
ａｌ
ｇ
ｏｒｉｔｈｍ
ｂａｓｅｄ
ｏｎ
ｕｓｅｒ
ｃｏｌｌａｂｏｒａｔｉｖｅ
ｆｉｌｔｅｒｉｎ
ｇ
ａｎｄ
ｐ
ａｒａｌｌｅｌｉｚａｔｉｏｎ
ｉｓ
ｉｍ
ｐ
ｌｅｍｅｎｔｅｄ．Ｔｈｅ
ｒａｔｉｎ
ｇ
ｍａｔｒｉｘ
ｄｉｍｅｎｓｉｏｎ
ｉｓ
ｒｅｄｕｃｅｄ
ｉｎ
ｏｆｆｌｉｎｅ
ｍｏｄｅ
，
ｕｓｅｒｓ
ａｒｅ
ｃｌｕｓｔｅｒｅｄ
ｉｎ
ｔｈｅ
ｄｉｆｆｅｒｅｎｔ
ｃｌｕｓｔｅｒｓ
ａｎｄ
ｒｅｃｏｍｍｅｎｄｅｄ
ｗｉｔｈｉｎ
ｔｈｅ
ｃｌｕｓｔｅｒｓ
，
ａｎｄ
ｉｔｅｍｓ
ｃｏｎｔｒｉｂｕｔｉｏｎ
ｗｅｉ
ｇ
ｈｔ
ｉｓ
ｉｎｔｒｏｄｕｃｅｄ
ｉｎ
ｓｉｍｉｌａｒｉｔ
ｙ
ｃａｌｃｕｌａｔｉｏｎ
ｔｏ
ｇ
ｅｔ
ｓｉｍｉｌａｒｉｔ
ｙ
ｍａｔｒｉｘ．Ｔｈｅｎ
ｔｈｅ
ｅｘ
ｐ
ｅｒｉｍｅｎｔ
ｉｓ
ｄｏｎｅ
ｔｏ
ｓｈｏｗ
ｔｈａｔ
ｔｈｅ
ｐ
ｒｅｃｉｓｉｏｎ
ａｎｄ
ｒｅａｌ
ｔｉｍｅ
ｏｆ
ｔｈｅ
ｒｅｃｏｍｍｅｎｄａｔｉｏｎ
ａｒｅ
ｉｍ
－
ｐ
ｒ
ｏｖｅｄ．
Ｋｅ
ｙ
ｗｏｒｄｓ
：
Ｈａｄｏｏ
ｐ
；
ｃｏｌｌａｂｏｒａｔｉｖｅ
ｆｉｌｔｅｒｉｎ
ｇ
；
ｃｌｕｓｔｅｒ
；
ｓｉｍｉｌａｒｉｔ
ｙ
；
ｐ
ａｒａｌｌｅｌｉｚａｔｉｏｎ
０
引
言
随着
“
互联网
”
的发展和电子商务网站的兴起
，
在给人们带来便利和丰富信息的同时
，
信息过载的
问题
［
１
］
也
日益凸显
，
在这样的环境下个性化推荐
［
２
］
技
术应运而生
．
传统推荐系统扩展性差且计算耗费
大量时间
，
面对海量数据表现差强人意
．
大数据分
析平台
［
３
］
的
出现
，
为个性化系统的改进提供了新的
方向
，
其 中
Ｈ
ａｄｏｏ
ｐ
［
４
］
平
台 的 分 布 式 文 件 系 统
＊
收
稿日期
：
２
０１７
－
０
９
－
１
３
基
金项目
：
国家自然科学基金项目
（
６１６０３２３４
）
作者简介
：
刘
斌
（
１
９７２－
）
，
男
，
陕
西西安人
，
副教授
，
研究方向
：
人工智能
、
数据挖掘
qq_28339273
- 粉丝: 9
- 资源: 196
我的内容管理
收起
- 我的资源
快来上传第一个资源
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助
会员权益专享
最新资源
- RTL8188FU-Linux-v5.7.4.2-36687.20200602.tar(20765).gz
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
- SPC统计方法基础知识.pptx
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0