无假设预测回归：conformal inference的高效与可靠性

本资源是一份关于无约束预测回归推断的框架——“conformal_pitt”——的演讲稿，由Carnegie Mellon University统计系的Jing Lei主讲，并在2017年2月的匹兹堡统计研讨会中分享。演讲基于与Larry Wasserman、Ryan Tibshirani、Alessandro Rinaldo和Max G’Sell的合作研究成果。 主要内容聚焦于在弱假设条件下进行预测性回归分析，即在不依赖于任何特定参数模型的前提下，如何实现高效且可靠的预测。核心思想是“out-of-sample fitting”，即通过非参数技术进行样本外估计，这种方法在处理复杂数据集时具有显著优势，特别是在高维数据和稀疏线性回归问题中。 首先，演讲者讨论了传统非参数回归方法，假设函数μ是光滑的（如Hölder类），输入变量X有远离零的密度，且误差项ε在给定X时服从正态分布或类似的分布。这些经典假设使得像核方法、局部多项式回归和Lasso这样的方法得以广泛应用，提供了实用的推断和理论基础。 然而，演讲者强调，对于高维数据和稀疏线性模型，标准假设可能不再适用。在这种情况下，模型假设μ为线性形式μ(x) = βTx，其中β是稀疏的，设计矩阵（通常表现为稀疏和正交）有助于提高估计效率。尽管如此，这些假设仍然倾向于简化问题，实际应用中可能存在偏差。 演讲进一步探讨了如何在不依赖于这些假设的情况下，通过conformal inference（规范一致性推理）来建立更加稳健的预测框架。这种方法允许在保持计算速度的同时，提供可靠的预测结果，同时还能提供一个变量重要性的度量，帮助理解各特征对预测的影响。 此外，演讲还涵盖了理论探讨和潜在的扩展方向，暗示着该框架还有进一步发展的可能性，适应更广泛的数据结构和复杂问题。总体而言，这份演讲资料提供了一个在现代统计学背景下，如何打破常规假设限制，实现预测分析的革新性思路。