蚂蚁金服：强化学习推荐系统中的生成对抗用户模型

2019年国际机器学习会议（ICML）上，蚂蚁金服的研究团队提出了一个名为"Generative Adversarial User Model for Reinforcement Learning Based Recommendation System"（强化学习下的生成对抗用户模型）的创新工作。该论文由Xinshi Chen、Shuang Li、Hui Li、Shaohua Jiang、Yuan Qi和Le Song共同撰写，旨在解决强化学习在推荐系统中的实际应用问题。 传统的强化学习方法在推荐系统中面临的主要挑战包括对大量在线用户行为数据的需求，这可能导致训练成本高且可能影响用户体验。为了克服这些问题，作者们提出了一种新颖的方法，即通过生成对抗网络（GAN）构建一个模拟用户行为的环境。在这个环境中，模型能够学习到用户的潜在偏好和行为模式，从而减少了对实时在线用户交互的依赖，降低了训练样本的需求。 在推荐策略层面，论文提倡以集合（set）而不是单个物品（item）为单位进行推荐，这是对传统单一推荐做法的一种改进。通过采用Cascading-DQN（一种递归深度Q网络）的神经网络架构，研究者们成功地扩展了解决复杂组合推荐策略搜索空间的技术，提高了推荐的效率和效果。 实验结果显示，与现有的推荐模型相比，生成对抗用户模型能够更准确地预测和解释用户行为，从而带来更好的长期收益。基于这个模型的强化学习策略不仅提升了用户的满意度和活跃度，还提高了推荐系统的点击率。这对于在线服务平台来说具有显著的实际价值，因为一个高效的推荐系统能够增强用户黏性，提升整体业务表现。 蚂蚁金服在ICML 2019上提出的生成对抗用户模型和组合推荐策略为强化学习在推荐系统中的应用提供了一个新的视角和解决方案，有望推动推荐技术在实际场景中的广泛应用和发展。