"百度凤巢系统在CTR(点击率)预估中应用了深度神经网络(DNN)技术,以克服传统离散值逻辑回归(LR)模型的局限性。"
在互联网广告领域,点击率(CTR)预估是至关重要的,它决定了广告的投放效果和收益。百度凤巢作为中国主要的搜索引擎广告系统,其CTR预估模型经历了从离散值逻辑回归到深度学习的转变。离散值LR模型虽然能够通过大量特征工程来提高模型性能,但随着时间推移,特征工程的边际收益逐年下降,且模型复杂度增加可能导致线上线下表现不一致。
深度学习,特别是深度神经网络(DNN),因其非线性的表达能力,被业界广泛用于解决这类问题。DNN可以自动学习多层次的抽象特征,从原始输入中提取更复杂的模式。然而,在应用到大规模的广告系统时,DNN面临几个挑战:
1. **特征处理**:大规模的实例(ins)与特征组合导致了“大2数据”问题,即需要将大量的实例与特征压缩为小规模特征。由于学术界缺乏适合这种场景的算法,百度采用了历史统计特征来简化问题。
2. **线上线下不一致**:在实验中,DNN模型可能会出现线下评估表现良好,但在线上实际运行时效果下降的情况。这主要是因为线下评估仅基于已展示的广告,而忽视了大量的未展示广告,这些未展示广告对模型效果的影响不容忽视。
3. **数据分布一致性**:线下数据与线上数据的分布可能存在差异,这使得模型在实际应用中可能出现性能波动。传统LR模型因特征变化较小,所以在迭代过程中未遇到类似问题。
为了解决这些问题,百度采取了以下策略:
- **无偏数据生成**:由于DNN模型上线风险较大,百度选择在小流量环境中生成无偏数据,通过随机展示广告避免策略影响,以获取更准确的评估。
- **数据过采样(OverSampling)**:通过过采样技术增强无偏数据的效果,提高AUC(Area Under the Curve)表现。
- **系统优化**:除了模型改进,还关注数据优化,例如处理Position Bias(位置偏置),这指的是广告在页面上的位置对用户点击行为的影响。
DNN在百度凤巢CTR预估中的应用,是深度学习技术在大规模在线广告系统中的一次重要实践,旨在通过非线性建模提升预测精度,同时也揭示了在实际部署深度学习模型时需要解决的挑战和策略。通过不断的数据优化、特征工程和模型调整,DNN能够更好地适应和提升广告系统的性能。