淘宝电商推荐新突破：引入Transformer模型

"这篇文章除了介绍阿里首次将Transformer应用于淘宝电商推荐系统之外，还探讨了推荐系统在阿里巴巴电商生态中的重要性，以及现有深度学习模型如Wide&Deep和Deep Interest Network (DIN)的局限性。文章指出，用户行为序列的顺序信息在预测用户未来点击行为中至关重要，而现有模型并未充分捕捉这种信息。因此，文章提出了引入Transformer的自我注意机制，以更好地利用用户行为序列的顺序信号，从而提升推荐系统的精准度和效果。" 在推荐系统（RSs）的发展历程中，深度学习已经成为推动其进步的重要驱动力。Google的Wide&Deep模型和Airbnb的实时个性化搜索排名方法展示了深度学习在推荐领域的潜力。在阿里巴巴，推荐系统不仅是提升GMV和收入的关键工具，而且在各种复杂的电商场景中得到应用。 在阿里巴巴的推荐系统架构中，主要分为匹配和排名两个阶段。匹配阶段通过分析用户与商品的交互，挑选出候选商品集合，接着在排名阶段通过精细调整的预测模型预测用户对候选商品的点击概率。传统的深度学习模型如Wide&Deep和DIN，虽然在特征嵌入和多层感知机（MLP）的结合上取得了不错的效果，但它们未能充分考虑用户行为序列的顺序信息。 在淘宝的推荐场景中，用户购买iPhone后可能会寻找手机壳，或者购买裤子后会浏览鞋子。这种行为序列的顺序反映了用户的购物兴趣转移，对于预测用户未来点击行为至关重要。然而，WDL模型只是简单连接所有特征，忽略了顺序信息，而DIN虽然引入了注意力机制，但没有直接处理序列的顺序性质。 为了解决这个问题，研究团队受到Transformer在自然语言处理领域的成功应用启发，决定在用户行为序列的嵌入阶段引入自我注意机制。这样可以为每个商品学习到更丰富的表示，考虑到其在序列中的位置和上下文关系。这些增强的表示随后输入到MLP中，以提高预测用户对候选商品点击概率的准确性，从而改进推荐系统的性能。 这篇文章揭示了Transformer在电商推荐系统中的创新应用，强调了序列信息在理解和预测用户行为中的重要性，以及如何通过自我注意机制有效地整合这些信息。这不仅有助于提高推荐系统的精确度，也为未来推荐系统的研究和发展提供了新的方向。