收稿日期:20180730;修回日期:20180928 基金项目:国家自然科学基金资助项目(61602280);山东省自然科学基金资助项目
(ZR2014FQ028)
作者简介:王帅(1993),男,硕士研究生,主要研究方向为智能信息计算与处理、推荐系统;孙福振(1978),男(通信作者),副教授,硕导,博
士,主要研究方向为数 据 挖掘、智 能 信息 处 理 (sunfuzhen@ sdut.edu.cn);王 绍 卿 (1981),男,博 士,主 要 研 究 方 向 为 数 据 挖 掘、推 荐 系 统;
张进(1995),男,硕士研究生,主要研究方向为智能信息处理;方春(1981),女,博士,主要研究方向为数据挖掘、模式识别.
拟合矩阵与两阶融合迭代加速推荐算法
王 帅,孙福振
,王绍卿,张 进,方 春
(山东理工大学 计算机科学与技术学院,山东 淄博 255049)
摘 要:传统的矩阵分解模型无法充分探索用户与物品在均值、偏置和特征之间的内在联系,提出拟合矩阵模
型,通过构建用户与物品矩阵分别代表用户与物品特性来提高预测性能。矩阵分解模型在推荐系统领域有精度优
势,但求解模型参数最常用的梯度下降法收敛速度缓慢,因此考虑与拟牛顿法融合,加快收敛速度。提出的算法命
名为拟合矩阵与两阶融合迭代加速推荐算法(fittingmatrixandtwoordersfusioniterative,FAST),实验表明,FAST算
法比传统的非负矩阵分解(NMF)、奇异值矩阵分解(SVD)、正则化奇异值矩阵分解(RSVD)在平均绝对误差
(MAE)与均方根误差(RMSE)上有下降,在迭代效率上有显著提高,缓解了精度与迭代效率难以平衡的问题。
关键词:拟合矩阵;矩阵分解;拟牛顿法;梯度下降;融合
中图分类号:TP301.6 文献标志码:A 文章编号:10013695(2020)02011037005
doi:10.19734/j.issn.10013695.2018.07.0533
Acceleratingrecommendationalgorithmusingfittingmatrixand
twoordersfusioniterative
WangShuai,SunFuzhen
,WangShaoqing,ZhangJin,FangChun
(CollegeofComputerScience&Technology,ShandongUniversityofTechnology,ZiboShandong255049,China)
Abstract:Thetraditionalmatrixdecompositionmodelcannotfullyexploredtheintrinsicrelationshipbetweentheuserandthe
objectinthemean,biasandcharacteristics.Thispaperproposedafittingmatrixmodeltoimprovethepredictionperformance
byconstructingtheuserandtheitemmatrixtorepresentthecharacteristicsoftheuserandtheitem respectively.Thematrix
decompositionmodelhadtheadvantageofaccuracyinthefieldofrecommendersystem
,butthegradientdescentmethod,which
wasthemostpopularmethodtotrainparametersofmodel,hadaslowconvergencespeed.Toresolvetheabovedefects,thispa
perconsideredtoacceleratetheconvergencespeedusingtheconvergenceofquasiNewtonmethod
,andnamedtheproposedal
gorithmasfittingmatrixandtwoordersfusioniterative(FAST)algorithm.TheexperimentalresultsshowthattheFASTalgo
rithmisbetterthanthetraditionalnonnegativematrixdecomposition(NMF),singularvaluematrixdecomposition(SVD),and
theregularizedsingularvaluematrixdecomposition(RSVD).FASTalgorithmhasadecreasewithregardtothemeanabsolute
error(MAE)andtherootmeansquareerror(RMSE),andhasasignificantimprovementintheiterativeefficiency,whichal
leviatestheproblemthattheaccuracyisdifficulttobalancewiththeefficiencyoftheiteration.
Keywords:fittingmatrix;matrixdecomposition;quasiNewtonmethod;gradientdescent;fusion
协同过滤推荐技术是推荐系统中应用最早和最为成功的
技术之一。奇异值矩阵分解(SVD)是用于协同过滤的常用算
法之一,直接应用传统的奇异值矩阵分解算法协同过滤可能导
致性能不佳,因而需要结合推荐系统数据稀疏性的特征提出行
之有效的奇异值矩阵分解方法
[1]
,其中最著名的就是正则化
奇异值矩阵分解(RSVD)。在原有奇异值矩阵分解的基础上
加入正则化因子和偏置因子,利用线性回归方法让正则化因子
与偏置因子产生双向交互作用,提高奇异值矩阵分解的预测能
力
[2]
。不同于 SVD,协同过滤中还有一种矩阵分解的方式为
非负矩阵分解(NMF),这种方法也是协同过滤推荐系统中一
种比较流行的算法之一
[3]
。文献[4]提出将梯度下降与拟牛
顿法结合,采用一种随机正则化(RES)的拟牛顿法用于求解随
机函数的凸优化问题,对拟牛顿法在高维矩阵中的发散问题与
海森矩阵的逆矩阵的计算与存储问题提出一种有效的改进思
路;然而这种结合方式的预测精度介于梯度下降与拟牛顿法之
间,以降低部分预测精度换取两者的有效结合。文献[5]提出
了一种将拟牛顿法与其他方法结合的思路,称为混合人工蜂群
策略。通过统计分析,所提出的训练策略相比于用拟牛顿法训
练的 DNN分类器具有更好的分类性能,这种方法适合于数据
稀疏性低且数据特征明显的数据(如图像识别),不适用于数
据稀疏性很高的推荐系统领域。
文献[6~8]中的模型都借鉴了传统协同过滤技术中的基
于用户推荐模型,而这类模型最大的优势是不需要迭代数据,
从而时间效率较高,但是与具有迭代数据的模型(如奇异值矩
阵分解)相比推荐精度稍差。文献[9,10]都是近年来流行的
基于排序学习模型,最终形成 topN推荐列表的文章,这类模型
优势在于算法复杂度低,无须人为设定超参数,但是精度相比协
同过滤中具有迭代数据的模型略低,而且难以进行扩展。综上
所述,为提升奇异值矩阵分解的训练效率以及提高预测精度,本
文提出了一种基于拟合矩阵和两阶融合迭代加速推荐算法。
1 相关概念
11 SVD在推荐系统中的应用
奇异值分解是将一个 m×n的矩阵 A,通过公式 A=U
Σ
V
T
第 37卷第 2期
2020年 2月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol37No2
Feb.2020