粗排技术：从历史到最新进展

"3-2+粗排技术体系与最新进展.pdf" 本文主要探讨了粗排技术在大规模工业级排序系统中的应用和发展，特别是在广告定向领域的实践。粗排是整个排序流程中的关键环节，它在海量候选集合中筛选出一小部分高质量的项，供后续的精排阶段进一步优化。粗排的目标是在有限的计算资源和时间限制下，找到满足业务需求的候选集合。 粗排的发展历程可以从两个主要的技术路线来理解：集合选择技术和精准值预估技术。集合选择技术关注的是如何构建满足后链路需求的集合，通常依赖于对后链路的机器学习，但控制性相对较弱，例如多通道、Listwise方法（如LambdaMART）、序列生成算法和集合评估器、集合生成器等。而精准值预估技术则直接对最终的系统目标进行精确的值预估，具有更强的控制性，但计算成本较高，常见的有Pointwise方法。 在2016年以前，粗排主要依赖于传统机器学习模型，如逻辑回归（LR），利用广告的历史平均点击率（CTR）作为质量分，这种方法虽然实时性强，但表达能力有限。随着深度学习的兴起，粗排进入了深度时代，特别是向量内积模型的出现。这种模型采用了双塔结构，分别处理用户特征和广告特征，通过深度神经网络（DNN）生成向量，然后进行内积运算，简化了在线打分的计算复杂度。此外，用户侧的网络可以利用Transformer等复杂结构来捕捉用户行为序列的动态信息，使得模型能够更精细地捕捉用户兴趣。 近年来，粗排技术的最新进展不仅体现在模型结构的创新上，还在于对大规模数据的处理能力和模型的在线更新能力。比如，模型可能会结合强化学习或元学习来动态适应用户的实时变化，或者利用分布式计算框架来加速模型的训练和推理过程。同时，为了平衡精度和效率，研究者们也在探索轻量级的模型结构和高效的特征工程方法。 未来，粗排技术可能会继续向着更高效、更精准、更个性化的方向发展，结合更多维度的数据，如用户的行为序列、社交网络信息、环境上下文等，以及更先进的模型架构，如自注意力机制、图神经网络等，来提升排序的准确性和用户体验。同时，随着边缘计算和云计算的发展，粗排系统的实时性和弹性也将得到进一步提升。