偏最小二乘回归（PLSR）原理与PCA回顾

"偏最小二乘回归是一种统计分析方法，旨在解决线性回归中的问题，特别是在样本数较少而特征较多，或特征之间存在线性相关性时。它结合了主成分分析（PCA）和线性回归，通过降维来提高模型的解释性和预测能力。本文将简要介绍偏最小二乘回归的基本思想。 1. 偏最小二乘回归（PLSR）的背景 线性回归在处理高维数据时可能会遇到困难，例如当样本数m小于特征数n时，导致系数矩阵XTX不可逆，从而无法应用最小二乘法求解。为了解决这一问题，偏最小二乘回归应运而生。 2. 主成分回归（PCR）与PCA 在进行偏最小二乘回归之前，我们首先回顾主成分分析（PCA）。PCA通过对原始数据进行变换，提取出最重要的特征向量，即主成分，用于降维。PCA的目标是找到一个正交基，使样本在新坐标系下的方差最大化。当X的协方差矩阵的秩小于n时，可以使用PCA投影X到一个低维空间，得到新矩阵T，此时XTX可逆，可以进行最小二乘回归，这种方法称为主成分回归。 3. PCA的数学表述 PCA通常表示为XT = TP，其中X是样本矩阵，P是协方差矩阵的特征向量矩阵，T是X在P所定义的正交子空间上的投影，即降维后的样本矩阵。P的列向量是正交的，因为XTX的特征向量矩阵P是正交的，这确保了T的列向量也是正交的。通过PCA，可以将X转换为具有正交属性的T，从而解决最小二乘法在高维空间中的问题。 4. 偏最小二乘回归（PLSR）的核心 PLSR进一步改进了PCR，不仅考虑了数据的降维，还考虑了响应变量（y）的影响。在PCA的基础上，PLS寻找与y关联最强的主成分，而不是单纯追求方差最大化。通过构建解释变量（X）和响应变量（y）之间的关系，PLS可以同时优化解释变量的降维和回归模型的预测性能。 5. PLSR的步骤 - 首先，对X和y进行中心化处理，使得它们的均值为零。 - 然后，使用PLS算法逐步构建一系列的主成分（或称为载荷向量），每个主成分尽可能多地解释X和y之间的共同变异。 - 在每一步中，都会找到一个新的载荷向量，这个向量既与X相关，又与y相关，这样就构建了X和y之间的联合模型。 - 最终，通过这些载荷向量，可以构建出一个低维的X'，并用最小二乘法在X'上建立回归模型。 6. 应用与优势 PLSR在化学、生物、社会科学等领域有广泛应用，如化学计量学中的光谱分析，基因表达数据分析等。其优势在于能有效处理多重共线性，减少过拟合风险，同时提供对数据结构的直观理解。 总结，偏最小二乘回归是一种强大的工具，它结合了主成分分析的降维能力和线性回归的预测能力，特别适合于处理高维、多相关性的数据集，能够提高模型的解释性和预测精度。"