深度学习DNN在百度凤巢CTR预估中的突破与挑战

"百度凤巢系统在CTR（点击率）预估中应用了深度神经网络（DNN）技术，以克服传统离散值逻辑回归（LR）模型的局限性。" 在互联网广告领域，点击率（CTR）预估是至关重要的，它决定了广告的投放效果和收益。百度凤巢作为中国主要的搜索引擎广告系统，其CTR预估模型经历了从离散值逻辑回归到深度学习的转变。离散值LR模型虽然能够通过大量特征工程来提高模型性能，但随着时间推移，特征工程的边际收益逐年下降，且模型复杂度增加可能导致线上线下表现不一致。 深度学习，特别是深度神经网络（DNN），因其非线性的表达能力，被业界广泛用于解决这类问题。DNN可以自动学习多层次的抽象特征，从原始输入中提取更复杂的模式。然而，在应用到大规模的广告系统时，DNN面临几个挑战： 1. **特征处理**：大规模的实例（ins）与特征组合导致了“大2数据”问题，即需要将大量的实例与特征压缩为小规模特征。由于学术界缺乏适合这种场景的算法，百度采用了历史统计特征来简化问题。 2. **线上线下不一致**：在实验中，DNN模型可能会出现线下评估表现良好，但在线上实际运行时效果下降的情况。这主要是因为线下评估仅基于已展示的广告，而忽视了大量的未展示广告，这些未展示广告对模型效果的影响不容忽视。 3. **数据分布一致性**：线下数据与线上数据的分布可能存在差异，这使得模型在实际应用中可能出现性能波动。传统LR模型因特征变化较小，所以在迭代过程中未遇到类似问题。 为了解决这些问题，百度采取了以下策略： - **无偏数据生成**：由于DNN模型上线风险较大，百度选择在小流量环境中生成无偏数据，通过随机展示广告避免策略影响，以获取更准确的评估。 - **数据过采样（OverSampling）**：通过过采样技术增强无偏数据的效果，提高AUC（Area Under the Curve）表现。 - **系统优化**：除了模型改进，还关注数据优化，例如处理Position Bias（位置偏置），这指的是广告在页面上的位置对用户点击行为的影响。 DNN在百度凤巢CTR预估中的应用，是深度学习技术在大规模在线广告系统中的一次重要实践，旨在通过非线性建模提升预测精度，同时也揭示了在实际部署深度学习模型时需要解决的挑战和策略。通过不断的数据优化、特征工程和模型调整，DNN能够更好地适应和提升广告系统的性能。