ESL3.5：主成分回归与偏最小二乘法详解 - 派生输入方向应用

"ESL3.5学习笔记关注的是《统计学习基础》一书中关于主成分回归（Principal Component Regression, PCR）和偏最小二乘回归（Partial Least Squares Regression, PLSR）的深入解析。该笔记由szcf-weiya进行中文翻译，最初来源于英文原著，由Hytn Chen提供个人解读。笔记的重点在于讲解如何在众多高度相关的输入变量中，通过派生输入方向（Derived Input Directions）来减少冗余信息，以提高模型的效率和准确性。 主成分回归利用主成分作为新的输入特征，这些主成分是原始输入变量的线性组合，且保持了方差最大化的原则，使得新特征之间相互独立。PCR通过构建正交的主成分 zm = Xv_m，将多变量问题转化为一系列单变量回归的线性组合，简化回归模型为： \hat{\mathbf{y}}^{pcr}_{(M)} = \bar{\mathbf{y}} + \sum_{m=1}^{M} \hat{\theta}_m \mathbf{z}_m \quad (3.61) 其中，\hat{\theta}_m 是每个主成分 zm 与目标变量 y 的协方差除以 zm 自身的协方差。 而偏最小二乘回归则不同，它侧重于寻找输入变量与目标变量之间的最佳非线性关系。PLSR 也涉及到线性组合，但不是简单地取主成分，而是通过迭代优化找到能够最好解释目标变量变化的方向，这种方法在处理高维数据和非线性关系时特别有效。 这篇笔记提供了对这两种回归方法的详细步骤和理解，对于理解和应用统计学习中的降维和回归技术具有很高的参考价值，尤其适合那些想要深入研究或实际操作这类高级统计方法的读者。"