英 文 题 目 ： Deep Learning Recommendation Models for Personalization and Recommendation
Systems
中文题目：个性化和推荐系统中的深度学习推荐模型
1：简介
随着深度学习的发展，基于神经网络的推荐模型已经成为解决个性化和推荐的重要工具。这些网络与其他深度学
习网络有很大不同，他们需要处理分类特征，这个方向还没有得到很好的研究和理解。在本文中，我们开发了一
种最先进的深度学习推荐模型(DLRM)，并且提供了他们基于 pytorch 和 cae2 的实现，此外，我们还设计了一
种专用的并行化方案，利用嵌入表上的模型并行性来减少内存约束，同时利用他们的数据并行性来从“全连接层”向
外扩展计算。我们把 DLRM 模型和现有的推荐模型进行比较，并且在 Big Basin 人工智能平台上来描述其性能，
展现他在未来的算法试验和系统协同过滤上作为基准的有用性。
1：介绍
目前，个性化和推荐系统已经在各大互联网公司用于各种业务上，包括 CTR 预估和排序模型。虽然这些方法历史
悠久，这些方法最近才采用了神经网络。两个主要观点为深度学习模型的设计做出了贡献。
第一个是来自于推荐系统的观点，这些系统最初利用协同过滤的思想，用户可以根据自己相近的人来进行推荐喜
欢的东西【22】。推荐的内容是基于用户过去的行为，利用以前用户对产品的评价等。邻域方法【21】通过对用
户分组、产品聚类、潜在因素办法来给用户进行推荐，通过这些隐含的特征，来构建矩阵分解技术来表征用户和
产品【9，17】在后来已经成功在线上得到证实可用。
第二个是来自于预测分析，他依赖于统计模型来进行分类或者根据给定的数据来预测事件发生的概率【 5】。预测
模型从使用简单的模型开始，比如线性回归、逻辑回归模型，一直到包含深度网络的模型。为了处理类别特征，
这些模型采用了用嵌入式转换的办法，将 one-hot 和 multi-hot 的向量在一个“抽象空间”中变成 dense 向量。这
个抽象的空间可以被看做推荐系统发现潜在因素的空间。
在本文中，我们介绍了由两者思想结合的个性化模型，这个模型用嵌入式 embedding 的方式来表征“类别特征”，
还有一个多层感知器(MLP)来处理“数值特征”，最后，用在【24】中提出来的统计技术的方法来明确的进行相互作
用这些特征，最后，他通过和另一个 MLP 模型后处理这些相互作用，找到了事件概率。我们将这种模型成为深度
学习推荐模型(DLRM)。这个流程可以参见 Figure 1。这个模型已经用 Pytorch 和 cae2 来实现，并且随着这个
手稿的发出已经用于测试和试验。
2：模型设计和架构
在本节中，我们将描述 DLRM 的设计。我们将从这个网络的高级组件开始，解释他们怎么、为什么能够组装在一
起，对未来模型设计产生影响；然后介绍低级操作和基本元件构成这个模型，对未来的硬件系统设计产生影响。
2.1：DLRM 的组成部分
DLRM 的高级组件可以很容易的通过回顾更早之前的 model 来进行理解。我们将避免全盘科学回顾，我们将专注
早期用过的 4 种技术，这些可以解释为 DLRM 的高级组件。
2.1.1 向量
为了处理类别特征，我们需要把每个 category 表征成一个 dense 的向量。特别是，一个向量可能用一个 one-
hot 向量 ei（第 i 个位置是 1，其他位置是 0，第 i 个位置和第 i 个取值保持一致）来获取相应的行向量。向量表 W
评论0