深度学习中的不确定性与异常检测

"这篇资料主要探讨了深度学习中的不确定性以及模型对外部分布的鲁棒性。作者Balaji Lakshminarayanan基于NeurIPS教程与Dustin Tran和Jasper Snoek合作，讨论了如何通过预测分布而不是单一预测来表达不确定性，并强调良好的不确定性估计能够量化我们何时可以信任模型的预测。" 在深度学习中，不确定性是一个关键概念，它涉及到模型在做出预测时对结果的不确信程度。传统的深度学习模型通常输出一个确定的预测值，如分类任务中的类别或回归任务中的均值。然而，引入不确定性意味着模型不仅提供预测，还会附带其预测的信心度或方差。在分类问题中，这可以表现为输出类别及其相应的置信度；而在回归问题中，则可能是输出均值及预测的方差。 不确定性估计的重要性在于它们可以帮助我们评估模型预测的可靠性。当模型给出的不确定性较高时，我们可以理解为模型对输入数据的解释能力较弱，反之则表示模型有较高的信心。这对于决策制定至关重要，尤其是在安全关键的应用中，如医疗诊断或自动驾驶汽车。 另一方面，"外部分布鲁棒性"（Out-of-Distribution Robustness）指的是模型应对训练集以外的数据表现的能力。理想情况下，测试集（Test Set）和训练集（Train Set）应遵循相同的分布（I.I.D., 独立同分布）。但在现实世界中，可能会出现数据集偏移（Dataset Shift），包括协变量转移、开放集识别、子群体转移和标签转移等。这些情况都要求模型能够适应新环境或识别未见过的样本。 例如，协变量转移是指特征分布（p(x)）的变化，但条件概率p(y|x)保持不变。开放集识别涉及测试时可能出现新的类别。子群体转移指的是数据子群体频率的变化，而标签转移则是标签分布（p(y)）的改变，但给定标签的特征分布（p(x|y)）保持不变。 ImageNet-C是一个衡量模型对不同强度数据扰动鲁棒性的基准，展示了在各种常见噪声和干扰下神经网络性能的变化。这个基准由Hendrycks和Dietterich在2019年的研究中提出，用于评估模型在面对真实世界中的常见图像腐蚀和扰动时的稳健性。 理解和处理深度学习中的不确定性以及提高模型的外部分布鲁棒性是当前深度学习研究的重要方向，旨在提高模型的实际应用价值和泛化能力。