深度学习鲁棒回归：DeepGUM模型对抗异常值

"本文主要介绍了DeepGUM，一种利用高斯-均匀混合模型进行深度鲁棒回归的方法。针对深度回归中L2损失函数对异常值敏感的问题，DeepGUM通过引入混合模型增强了对离群点的鲁棒性。在训练过程中，DeepGUM结合了期望最大化和随机梯度下降，实现离群点的无监督检测和清洁样本的监督训练，能适应不断变化的离群值分布。实验表明，这种方法在面部和时尚地标检测、年龄和头部姿势估计等任务中表现出良好的鲁棒性和可靠性，尤其在面对高比例离群值时。" 深度学习架构，如卷积神经网络（ConvNets），已经在图像分类和对象检测等领域取得了显著成就。然而，在回归任务中，深度学习模型通常采用L2损失函数，这种损失函数对于异常值（如错误注释的目标或离群值）非常敏感。异常值可能导致训练过程的偏移，因为它们的大梯度幅度会影响反向传播。 DeepGUM的创新之处在于，它使用高斯-均匀混合模型来建模数据分布，这样可以更好地处理离群值。高斯-均匀混合模型是一种概率模型，包含多个高斯分布和均匀分布的组合，可以更好地捕捉数据的多样性和异常情况。通过这种模型，DeepGUM能够在训练过程中自动识别并减小离群值的影响。 文章提出了一种优化算法，该算法交替执行期望最大化（EM）和随机梯度下降（SGD）。EM算法用于无监督地检测离群值，而SGD则用于在不包括离群值的清洁样本上进行监督训练。这种交替策略允许DeepGUM动态适应离群值的分布，无需人为设定离群值比例的阈值。 实验部分，作者展示了DeepGUM在多个任务上的应用，包括面部地标检测、时尚地标检测、年龄估计和头部姿势估计。这些实验结果证实了DeepGUM在有噪声和高比例离群值的环境中保持了较高的准确性和稳定性。因此，DeepGUM为深度学习回归提供了一种新的、鲁棒的技术，特别适用于可能存在异常值的场景。 "深度鲁棒回归的高斯-均匀混合模型学习方法"通过引入混合模型和优化算法，解决了深度学习回归中的离群值问题，提高了模型的鲁棒性和泛化能力，为计算机视觉领域的回归任务提供了有价值的解决方案。