知乎搜索排序模型演进：从UnbiasLTR到SessionAware

"这篇文档是关于知乎搜索排序模型的探索实践，由知乎搜索算法团队的王瑞欣在2020年11月分享。文档介绍了知乎搜索的发展历程，包括从传统的GBDT到深度神经网络（DNN）的迁移，以及一系列先进的排序模型和技术的应用，如UnbiasLTR、ContextAware、End2End、SessionAware等。同时，文档讨论了多目标排序的重要性，以及在实际应用中如何优化模型以提升用户体验和各种关键指标，如点击率、阅读时长、用户留存等。" 知乎搜索排序模型的发展始于2017年，随着技术的不断迭代，从2018年的深度语义相关性，到2019年引入BERT和语义向量索引，再到同年将GBDT升级为DNN，知乎搜索一直在寻求更先进的方法来提升搜索效果。2019年10月，引入了UnbiasedLTR，旨在减少排序中的偏差；2019年11月，采用MultiTaskLTR进行多任务学习，以处理不同目标之间的关系；2020年之后，又进一步发展了SERank、Answer Static Score DNN模型、LTREnd2End、LTRMMoE以及LTRSessionAware等，逐步提高了用户的使用体验。 搜索架构的变化是从GBDT迁移到DNN，这主要归因于两个原因：一是数据量的增加使得更高复杂度的模型成为可能；二是为了应用最新的研究进展，如多目标排序。这一迁移带来了明显的收益，包括点击率、点展比和人均时长的显著提升。 排序模型是基于TensorFlow的Ranking库开发的，使用Ranking loss和metrics，并通过Estimator API实现。多目标排序是其中的关键，其目的是综合预估多个指标，如点击率、阅读时长、点赞、收藏、关注、分享和评论，以提升用户满意度。初始版本采用了hard sharing的SharedBottom结构，随后发展为MMOE（多门混合专家）结构，以更好地处理不同任务间的关联性。这种优化带来了人均阅读时长和次日留存率的提升，并且在在线预测时，模型会根据不同的任务计算相应的Loss。 知乎搜索排序模型的探索实践是围绕提升用户搜索体验展开的，通过不断的技术创新和模型优化，实现了对多种用户行为的精准预测，从而提高了整体的搜索质量和用户黏性。