KDD2022：通用序列表征学习在推荐系统中的新突破

"这篇文档是关于2022年KDD大会收录的论文，主题是通用序列表征学习在推荐系统中的应用。作者探讨了如何通过建模物品的文本描述来学习可迁移的通用表征，以解决传统方法中依赖物品ID导致的数据孤岛问题。论文提出了UniSRec模型，该模型包含参数白化和混合专家增强适配器，以及基于多域负样本的对比预训练任务，以学习通用的序列特征。" 在推荐系统中，序列表征学习是一个关键环节，尤其在行为序列分析中，它有助于理解和预测用户的兴趣。传统的序列表征学习方法通常基于物品ID，这限制了模型的泛化能力，使其难以适应新环境或平台。因此，来自人民大学和阿里巴巴的研究团队提出了一种新颖的方法，通过利用物品的文本描述来学习更通用的表征。 论文提出的 UniSRec 模型旨在解决这个问题。首先，模型利用预训练的BERT模型编码物品的文本特征，生成初步的文本表示。然而，由于BERT学到的特征可能具有领域特异性，作者引入了参数白化技术，通过对原始BERT表征进行线性转换，以减少特征的各向异性，促进跨领域的语义一致性。 此外，为了处理不同场景之间的差异并实现域融合，UniSRec采用了混合专家（MoE）架构。MoE包含多个白化转换模块，即专家，这些专家能够适应不同场景的特定需求。通过MoE增强适配器，模型可以综合不同场景下的表征，提高通用性。 论文还提出了一种基于多域负样本的对比预训练任务，这有助于学习更具通用性的序列表征。通过这种方式，模型能够在各种场景中捕获丰富的上下文信息，即使对于交互较少的冷启动物品也能有效处理。 实验结果表明，UniSRec在多个推荐系统场景下表现出色，证明了这种方法的有效性。论文源代码已经公开，可以在GitHub上找到，供研究者和实践者进一步探索和使用。 这篇论文为推荐系统的通用序列表征学习提供了新的视角和解决方案，对于打破数据孤岛、提升推荐系统的迁移性和泛化性能具有重要意义。