http://www.paper.edu.cn
- 1 -
中国科技论文在线
一种基于 Hadoop 的个性化推荐系统架构
#
张永霞，王洪波，程时端
**
基金项目：高等学校博士学科点专项科研基金(200800131019)
作者简介：张永霞，（1985-），女，工学硕士，主要研究方向：海量数据分析与个性化推荐。
通信联系人：王洪波，（1975-），男，副教授，主要研究方向：云计算与数据中心网络、互联网服务质量
管理与测量等。E-mail: hbwang@bupt.edu.cn
（北京邮电大学网络与交换技术国家重点实验室，北京 100876）
摘要：随着计算机技术的发展和互联网的快速普及，如何快速的从海量数据中获取用户想要5
的信息逐步成为用户关注的焦点之一。个性化推荐系统应运而生，通过获取用户在互联网上
的日志信息，分析用户的喜爱偏好，从而为用户推荐其可能感兴趣的信息。然而，随着互联
网的发展，互联网上充斥的用户日志信息越来越多，个性化推荐系统面临着存储空间的可扩
展性与分析计算的效率等瓶颈问题，单纯依靠提升计算机存储空间和计算性能显然不能从根
本上解决问题。本文针对该问题，以基于 Hadoop 分布式文件存储 HDFS 和分布式计算框架10
Map/Reduce 的工具为基础，针对本文的应用场景对 Mahout 实现的推荐算法做了优化，实现
了一种基于分布式计算框架 Hadoop 之上的个性化推荐系统架构，并通过实验证明该方案解
决了数据存储的可扩展性和计算性能方面的问题，一定程度上提高了推荐的准确率。
关键词：计算机应用技术；分布式计算；海量数据；个性化推荐；Hadoop
中图分类号：TP393.1 15
A personalized recommendation system framework based
on Hadoop
Zhang Yongxia, Wang Hongbo, Cheng Shiduan
(State Key Laboratory of Networking and Switching Technology, Beijing University of Posts & 20
Telecommunications, Beijing 100876)
Abstract: As the increase of the network data, how to obtain the information quickly is becoming
one of the most important problem for users. Personalized recommendation system is used to
analysis the users behavior log and get the users favorite preferences, then help the users get what
they want fastly. However, more and more information makes to produce a series of problems, 25
such as the scalability,the computing performance. To solve this problem, this paper proposes a
solution that designing and implementing a personalized recommendation system framework
based on Hadoop, and optimizing the code of the Mahout to improve the accuracy rate of the
recommendation system. The experiments results validate that the recommendation accuracy rate
is improved and computing performance is enhanced more than the stand-alone mode.
30
Keywords: Computer application technology; Distributed Computation; Mass data; Personalized
Recommendation; Hadoop
0 引言
随着计算机技术的发展和互联网的快速普及，互联网上充斥的各种信息越来越多，如何35
快速的从海量数据中获取想要的信息，逐步成为用户关注的焦点之一，个性化推荐随着用户
的这一需求而产生发展起来。用户在互联网上获取信息的同时留下了个人独特的日志信息，
通过分析用户的日志信息挖掘出用户对各种信息的偏好，进而为用户推荐其可能感兴趣的信
息，避免用户迷失在海量的互联网数据中。然而，从用户的日志信息中挖掘用户偏好，需要
存储用户日志；为用户产生推荐，需要高效有用的推荐算法。传统的推荐系统将用户日志信40
息存储于关系数据库中，采用单机的推荐算法进行推荐计算，随着数据量的增长可以采取提
升计算机性能方式来解决瓶颈问题，但是当数据量上升到海量级别时，单纯依靠提升计算机
的存储量和计算性能显然不能从根本上解决问题，而且面临巨大的成本开销。
评论0