预训练模型特征扩展:提升科研论文推荐准确性

需积分: 3 0 下载量 37 浏览量 更新于2024-08-04 收藏 859KB PDF 举报
"基于预训练语言模型特征扩展的科研论文推荐方法旨在解决科研学术论文推荐中的数据稀疏问题。该方法利用预训练语言模型,如BERT、GPT等,学习论文摘要的深层次特征表示。这些特征被用作补充信息,结合用户-论文标签矩阵,输入到半自编码机模型中进行训练,以生成更精确的推荐结果。 在科研领域,推荐系统的价值在于帮助研究人员快速定位相关论文,应对信息爆炸带来的挑战。传统的推荐技术,如矩阵分解,虽能缓解数据稀疏性,但可能缺乏用户属性信息。而深度学习中的自编码机尽管具有无监督学习的优势,但在处理多维度信息时受限。预训练语言模型则能捕获文本的丰富语义,为特征扩展提供强大支持。 预训练模型首先对论文摘要进行编码,生成表示论文主题和内容的向量。这些向量作为特征扩展的一部分,与用户的偏好信息(例如,过去阅读或引用的论文)相结合。半自编码机模型在保持输入和输出层维度一致性的前提下,能够灵活地整合这些多源信息,从而提高推荐的准确性和覆盖率。 实验结果显示,这种方法相对于传统的自编码机等模型,能更有效地推荐科研论文,降低推荐误差,有助于提升科研人员的工作效率。由于不依赖于用户的行为历史或敏感的个人信息,这种方法在保护用户隐私的同时,也能提供高质量的推荐服务。 基于预训练语言模型特征扩展的科研论文推荐方法是应对科研信息过载的有效策略。它利用现代自然语言处理技术,增强推荐系统的性能,有望成为学术界推荐系统研究的重要进展。未来的研究可以探索更多类型的预训练模型,以及如何更好地融合多模态信息,以进一步优化推荐效果。"