清华大学崔鹏：OOD泛化与稳定学习的深度探讨——从进化视角与因果一致性

本PPT由清华大学的崔鹏主讲，深入探讨了Out-Of-Distribution (OOD)泛化和稳定学习的相关议题。OOD泛化是指模型在面对未在训练数据集中出现的新情况（颖外推断）时，其性能表现。相较于In-Distribution (I.I.D.) 数据，OOD涉及到的是不同分布或未知领域的预测。 第一部分讨论了I.I.D.和OOD的区别，指出在I.I.D.情况下，数据特征（X）和目标变量（Y）都服从同一概率分布；而在OOD中，这些关系不再成立。OOD泛化问题引出了一种区分“内插”（interpolation）与“外推”（extrapolation）的概念，强调了后者（如Uri Hasson等人在《Neuron》杂志上发表的研究）的风险性，即模型在处理超出训练范围的数据时可能失效。 接着，讲座引入了“不变性”（invariance）作为解决OOD泛化的一个重要理念。Leon Bottou在ICLR 2019年的论文中提出，通过学习对因果结构不变的因素来增强模型的泛化能力，这是一个理论和实践上的转变。不变性有助于模型适应新环境，因为它能确保在不同场景下对核心特征的识别一致性。 在方法论上，数据驱动的泛化策略被讨论，包括通过因果推理寻找不变性。通常，这涉及通过样本重采样或者直接处理潜在的混淆因素，确保特征T在有或无的情况下对其他变量的影响减小。例如，可以通过调整样本权重，使得具有特征T的样本与没有该特征的样本在X空间中的分布相似，从而降低OOD时的不确定性。 Causality（因果关系）与Invariance密切相关，因为学习因果关系有助于识别影响结果的关键因素，这些因素在OOD情况下可能保持不变。Causal Inference（因果推断）作为一种科学方法，它直接关注变量之间的因果关联，这对于构建稳健的OOD泛化策略至关重要。 该PPT提供了关于OOD泛化和稳定学习的深入洞察，强调了不变性、因果关系在应对未知数据分布中的核心作用，并探讨了如何通过数据处理和因果推理技术来提高模型在OOD条件下的适应性和泛化能力。理解并应用这些概念和技术对于提升AI系统的鲁棒性和适应性具有重要意义。