本PPT由清华大学的崔鹏主讲,深入探讨了Out-Of-Distribution (OOD)泛化和稳定学习的相关议题。OOD泛化是指模型在面对未在训练数据集中出现的新情况(颖外推断)时,其性能表现。相较于In-Distribution (I.I.D.) 数据,OOD涉及到的是不同分布或未知领域的预测。
第一部分讨论了I.I.D.和OOD的区别,指出在I.I.D.情况下,数据特征(X)和目标变量(Y)都服从同一概率分布;而在OOD中,这些关系不再成立。OOD泛化问题引出了一种区分“内插”(interpolation)与“外推”(extrapolation)的概念,强调了后者(如Uri Hasson等人在《Neuron》杂志上发表的研究)的风险性,即模型在处理超出训练范围的数据时可能失效。
接着,讲座引入了“不变性”(invariance)作为解决OOD泛化的一个重要理念。Leon Bottou在ICLR 2019年的论文中提出,通过学习对因果结构不变的因素来增强模型的泛化能力,这是一个理论和实践上的转变。不变性有助于模型适应新环境,因为它能确保在不同场景下对核心特征的识别一致性。
在方法论上,数据驱动的泛化策略被讨论,包括通过因果推理寻找不变性。通常,这涉及通过样本重采样或者直接处理潜在的混淆因素,确保特征T在有或无的情况下对其他变量的影响减小。例如,可以通过调整样本权重,使得具有特征T的样本与没有该特征的样本在X空间中的分布相似,从而降低OOD时的不确定性。
Causality(因果关系)与Invariance密切相关,因为学习因果关系有助于识别影响结果的关键因素,这些因素在OOD情况下可能保持不变。Causal Inference(因果推断)作为一种科学方法,它直接关注变量之间的因果关联,这对于构建稳健的OOD泛化策略至关重要。
该PPT提供了关于OOD泛化和稳定学习的深入洞察,强调了不变性、因果关系在应对未知数据分布中的核心作用,并探讨了如何通过数据处理和因果推理技术来提高模型在OOD条件下的适应性和泛化能力。理解并应用这些概念和技术对于提升AI系统的鲁棒性和适应性具有重要意义。