深度学习的推荐系统：基于神经网络的协同过滤算法展现优势[c2018韩国通信与信息科学研究所（KICS）

⃝⃝可在www.sciencedirect.com上在线ScienceDirectICT Express 5（2019）84www.elsevier.com/locate/icte可扩展的基于深度学习的推荐系统Hyeungill Lee，Jungwoo Lee首尔国立大学，大韩民国接收日期：2018年4月7日;接受日期：2018年2018年6月22日在线提供摘要提出了一种基于深度神经网络的协同过滤算法。我们使用归一化的用户评分向量和归一化的项目评分向量作为神经网络的输入。每一层都使用了批量归一化技术，以防止神经网络过拟合。实验结果表明，该方法优于传统的协同过滤算法。根据结果，它的性能与BellKor著名的Netflix获奖算法相当所提出的方法有另一个强大的优势，在线操作是可能的，几乎没有额外的复杂性和性能下降。c2018韩国通信与信息科学研究所（KICS）。Elsevier B.V.的出版服务。这是一个开放获取CC BY-NC-ND许可证下的文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。关键词：协同过滤;神经网络1. 介绍协同过滤（CF）是推荐系统中使用的显着技术之一[1]。CF是一种通过部分观察许多其他用户的偏好历史来预测用户对特定项目的偏好的方法它在电子商务的成功中变得越来越重要，并被用于亚马逊，YouTube和Google新闻等行业的各种应用程序中。从2006年到2009年，NetflixPrize [2]取得了很大的进展，这是一个最佳协同过滤算法的公开竞争，以预测电影的用户评分。通常，CF算法可以分为两类。一种是基于记忆的方法（也称为最近邻方法），另一种是基于模型的方法。基于记忆的方法试图根据其他类似用户或项目的评级来预测用户偏好。基于内存的方法中一种流行的技术是局部敏感散列，它在线性时间内实现最近邻方法。*通讯作者。电子邮件地址：hilee@cml.snu.ac.kr（H. Lee），junglee@snu.ac.kr（J.Lee）。同行评审由韩国通信和信息科学研究所（KICS）负责https://doi.org/10.1016/j.icte.2018.05.003基于模型的方法是利用数据挖掘和机器学习算法开发的，以基于训练数据找到模式。基于模型的方法的流行技术包括贝叶斯模型[3]，聚类模型[4]，潜在语义模型[5]，如奇异值分解和概率潜在语义分析。另一方面，一种名为AlexNet的卷积神经网络[6]通过赢得 2012 年 imagenet 大 规 模 视 觉 识 别 挑 战 赛 （ ILSVRC2012）[7]，显着提高了图像分类的性能。深度神经网络对图像识别、自然语言处理等许多应用产生了巨大影响[8]。此 外， 深 度学 习 技术 也被 用 于协 同 过滤 。 例如 ，Salakhutdinov等人提出了基于受限玻尔兹曼机（RBM）的协同过滤算法[9]，这是一种无监督的非线性特征学习。Georgiev等人进一步将先前基于RBM的方法扩展到统一的混合非IID框架[10]。Oord等人使用深度卷积神经网络来预测音乐音频中的潜在因素[11]。Yuanxin等人提出了用于协同过滤的修订的自动编码器模型[12]。本文提出了一种基于深度神经网络的协同算法。与其他深度学习2405-9595/c2018韩国通信和信息科学研究所（KICS）。出版社：Elsevier B.V.这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。H. Lee和J.Lee/ICT Express 5（2019）8485p∈{T=∥ ∥0Tu˜∈∈∑∑∥ ∥0˜、、=Σ（ui−ui）方法[9，10，12]使用无监督学习，所提出的方法使用监督学习架构。为了防止神经网络过度拟合，我们对每一层使用批量归一化技术[13]实验结果表明，该算法优于其他传统的CF算法。此外，由于它使用用户评分向量和项目评分向量作为网络的输入，因此它可以很容易地扩展到该算法的在线版本。在第2节中，我们将阐述这个问题。第三节详细介绍了基于神经网络的协同过滤算法在第四节中，我们的算法与传统的协同算法的性能进行了比较，并在第五节中给出了一个结论。2. 记法和问题公式化经过预处理，我们得到了一个大型的3.1. 神经网络模型神经网络难以用于协同过滤的原因是评分缺失的存在。重要的是要有效地处理缺失的评级，否则神经网络将无法正确训练。我们不能将缺失值视为0，因为模型会将用户评分视为0或负偏好，这会导致性能低下。为了解决这个问题，我们利用了dropout技术中使用的一个想法[14]。dropout是一种用于改善神经网络以减轻过拟合的技术dropout中使用的关键思想是以概率p随机丢弃每层中的单元剩余单位的输出值乘以1.一、这确保了对于任何隐藏单元，预期输出与测试时的实际输出相同。我们可以认为缺失评级的缺失单位，具有缺失概率不评级的数量。因此，代替使用（Tu，Ti）作为神经元，R RN×M，其中N是用户数，M是项目数。R是一个稀疏矩阵，其中大多数项目总数网络输入，我们使用归一化输入（∥·∥M·Tu，∥Tu ∥0N·Ti∥Ti∥0 ），其中元素为零。我们将使用80%的非零条目作为训练集Strain，其他非零条目作为测试集Stest。训练ru， i（u， i）∈S列0无此类评级或r（u， i）∈S检验0表示向量的非零项的数量。图1示出了具有5个项目的4个用户的示例。用户归一化矩阵可以通过归一化用户项矩阵的每一行来计算用户归一化矩阵的第u行是M·Tu。类似地，项目归一化矩阵可以通过归一化用户项目矩阵的每一列来第i假设评级是从1到K的整数因此，ru， i∈项规范化矩阵的列为N·Ti∥Ti∥0 .这两个向量一，二，. . ，K，我们的工作是通过充分利用训练用户-项目矩阵T来预测属于测试集r（u，i）∈Stest的评分。假设测试集的预测等级是ru， i，用于（u， i）S测试。在本文中，广泛使用的RMSE（均方根误差）标准被用来评估每个算法的性能，它可以计算为RMSE1r r2|（u，i）∈ S检验|(u, i)∈Stest（用户归一化矩阵的第u行，项目归一化矩阵的第i列）被连接在单个向量中，该向量被用作神经网络的输入数据。我们也在输出层使用批量归一化方法。我们可以计算每个评级的条件概率（1，2，. . .，K），并将期望值视为预测评级，其由下式给出：P=Softmax（BNγL，βL（WL ZL））如上所述，（u， i）S测试实际上意味着用户u之前已经对项目i进行了评级。我们还将Ti表示为矩阵T的第i行，Tj表示为矩阵T的第j列。ri，j=k·PkKexp（x）3. 协同过滤的神经网络模型其中Softmax（x）=exp（x），L是总层数。均方误差（MSE）用作损失函数，其由下式给出：损失=1 ∑（rui−r<$ui）2我们算法的思想很简单。我们使用完全连接的神经网络。神经网络的输入数据|S|、、、（i， j）∈S网络是归一化的用户向量M·Tu 和归一化所有参数包括（W1，W2，. . . ，W L），（γ1，γ2，项向量N·Ti∥Tu∥0. 训练标签是对应的. . . ，γL），（β1，β2，. . . ，βL）需要被训练以最小化我不是获得同样的评级我们对每个层（包括输入隐藏层和隐藏输出层）使用批量归一化技术每个评级（1，2，. . .，K）可以使用softmax函数来计算。神经网络的输出值是预测评级ru， i，其是基于条件概率的期望值损失函数是均方根误差（RMSE），并且使用具有随机梯度下降方法的反向传播来训练网络，这将被详细解释。高于损失函数。随机梯度下降（SGD）可以用来更新所有的参数与反向传播。整个网络模型如图所示。 二、4. 实验4.1. Movielens数据集MovieLens是一个电影评级数据集，通过正在进行的MovieLens项目收集。它是由86H. Lee和J.Lee/ICT Express 5（2019）84Fig. 1. 一个规范化输入的例子，有4个用户和5个项目。表1两个MovieLens数据集的统计数据。图二. 整体神经网络模型。4.2. 实验结果数据集用户项目评级密度时间对于MovieLens 100 k数据集，我们使用了一个非常简单的网络-MovieLens 100k9431682100,0006.30%'97-'98工作，以（$943+1682$）评级向量作为输入，以及3MovieLens 1M604039521,000,0004.47%'00-'03全连接的隐藏层，每个层有256个激活。W 是初始化为随机正态变量。γ初始化为1并且β被初始化为零。我们对网络进行了5个时期的训练明尼苏达大学的GroupLens研究。数据是通过MovieLens网站收集的，在该网站上，评分少于20分的用户我们在两个不 同 的 MovieLens 数 据 集 （ MovieLens 100k 数 据 集 和MovieLens 1M数据集）上评估了所提出的神经网络模型。如表1所示，MovieLens 100k数据集包含943个用户对1682部电影的100，000个评级，而MovieLens 1M数据集包含6040个用户对3952部电影的1，000，000个评级。每个等级是1（最差）到5（最好）之间的整数。我们还洗牌的评级矩阵来衡量在线预测方法的性能。对于这两个数据集，我们使用80%的数据作为训练和验证集，其余的作为测试集。为了评估所提出的方法，我们使用均方根误差（RMSE），这是已知的把更多的权重预测误差较大。每个小批量有128个样本。图3（a）显示了测试数据的RMSE值与训练时期的数量。观察到随着训练的进行，模型得到较低的RMSE值，这在3个epoch之后并不预计过拟合可能会随着历元数量的不断增加而发生。接下来，对于Movie- Lens 1 M数据集，我们使用了一个网络，该网络的输入是（6040+3952）评级向量，以及3个全连接的隐藏层，每个层有1024个激活。学习参数的初始化与之前相同。图3（b）显示了测试数据的RMSE值与训练时期的数量。该曲线与100k数据集相似。我们进一步比较了所提出的算法与现有方法的预测质量，分别使用MovieLens 100k和1M数据集。表2显示了两个数据集上一些基本模型和神经网络模型的RMSE值。对于其他传统的CF算法，我们参考了[12H. Lee和J.Lee/ICT Express 5（2019）8487图三. MovieLens数据的RMSE。表2MovieLens数据集的预测质量。方法MovieLens 100kMovieLens 1M基于用户的CF0.9370.915基于项目的CF0.9320.901SVD0.9400.893偏置SVD0.9260.887成果管理0.9530.918AUTOENCODER0.9390.892堆叠式自动编码器0.9330.890神经网络（建议）0.9070.848我们提出的神经网络模型实现了更好的性能比传统的方法，如基于用户的CF，基于项目的CF，和SVD方法。此外，我们的方法的结果优于基于自动编码器的模型和基于深度学习的受限玻尔兹曼机。MovieLens 1M数据集的性能指标显示在表的右列由于大量的训练数据，它们比MovieLens 100k上的训练数据更好。所提出的神经网络方法始终实现较低的RMSE比现有的方法。5. 结论本文提出了一种用于协同滤波的神经网络模型与其他基于深度学习的协同过滤不同，该方法基于监督学习。为了有效地处理缺失的评分，我们将用户评分向量和项目评分向量归一化，并将其作为神经网络的输入。每一层都使用 批 量 归 一 化 技 术 来 加 速 训 练 并 防 止 过 拟 合 。 在MovieLens数据集上的实验结果表明，该方法优于传统的CF算法，如基于用户的CF，SVD和其他基于深度学习的方法。此外，我们的方法可以推广到在线协同滤波。由于该方法使用用户评级向量和项目评级向量（具有简单的归一化）作为输入，因此它不必学习用户和项目的特征因此，我们可以预测一个新来的用户我们的模型可以用小批量（SGD）方法训练。如果我们想改进模型，可以使用新到达的评级通过在线学习方法来训练模型。实验结果表明，所提出的在线预测方法（有或没有在线学习）与新到达的收视率。在现实世界的应用中，用户的反馈通常在很长一段时间内被连续地收集。因此，推荐系统需要能够立即容纳新数据。该算法在用户和项目的特征随时间变化的情况实验结果表明，基于神经网络的推荐算法在实际的推荐系统中有很好的应用前景，因为推荐系统需要更高的预测精度和更短的响应时间。预计所提出的方法的性能与BellKor的著名Netflix获奖算法相当。所提出的算法的另一个重要优点是，在线操作（当一个新的行或列被添加到输入数据）是可能的，几乎没有额外的复杂性和性能下降。致谢这项工作部分得到了基础科学研究计划（NRF-2017 R1A2 B2007102）的支持，通过MSIP资助的NRF，技术创新计划（10051928），88H. Lee和J.Lee/ICT Express 5（2019）84MOTIE，仿生机器人研究中心，由DAPA（UD 130070ID），INMAC和BK 21-plus资助利益冲突作者声明，本文中不存在利益冲突引用[1] G. Adomavicius ， A.Tuzhilin ， Towardthe nextgenerationofrecommendersystems ： A survey of the state-of-the-art and possibleextensions，IEEETrans. Knowl. Data Eng.17（6）（2005）734-749。[2] J. Bennett ， S. Lanning ， Netflix 奖 ， 收 录 于 ： KDD Cup andWorkshop，2007年。[3] Y.H. Chein ， E. George ， A Bayesian model for collaborativefiltering ， in ： Online Proceedings of the Seventh InternationalWorkshop on Artificial Intelligence and Statistics，1999。[4] L.H. Ungar ， D.P.Foster ， Clustering methods for collaborativefiltering ， in ： Proceedings of the workshop on RecommendationSystems，1998.[5] T.李文，协同过滤的语义模型，北京大学出版社，2004。[6] A. 克里热夫斯基岛Sutskever，G.Hinton，Imagenet分类与深度卷积神经网络，Adv. 神经信息过程系统（2012年）。[7] O. Russakovsky，J.Deng，H.Su，J.Krause，S.Satheesh，S.妈Z。黄，A. Karpathy，A. Khosla，M.伯恩斯坦贝格湖Fei-Fei，ImageNet大规模视觉识别挑战，Int. J. Comput.目视115（3）（2015）211-252。[8] T.米科洛夫岛Sutskever，K. Chen，G. Corrado，J. Dean，单词和短语的分布式表示及其组合性，Adv. 神经信息处理。系统（2013年）。[9] R. Salakhutdinov ， A. Mnih ， G. Hinton ， Restricted Boltzmannmachines for collaborative filtering，第24届国际机器学习会议论文集，2007年，pp. 791-798[10] K. Georgiev ， P. Nakov ， A non-IID framework for collaborativefiltering with restricted Boltzmann machines，in：Proceedings of the30th International Conference on Machine Learning，2013，pp. 1148-1156年。[11] A. Oord，S.迪勒曼湾Schrauwen，基于深度内容的音乐推荐，高级神经信息处理。（2013）2643-2651。[12] O. 袁 辛 湖 文 奇 河 Wewnge ， X. Zhang ， Autoencoder-based co-laborativefiltering ， in ： InternationalConferenceOnNeuralInformation Processing，2014，pp. 284-291。[13] S.约费角Szegedy，Batch normalization：Accelerating deep networktraining by reducing internal covariate shift，2015年国际机器学习[14] N.斯利瓦斯塔瓦湾，巴西-地辛顿，A.克里热夫斯基岛苏茨克韦尔河Salakhutdinov，Dropout：防止神经网络过度拟合的简单方法，J·马赫。学习. Res.（2014）1929-1958。