深圳大学实验：多元线性回归及Logistics、岭回归在人脸识别性能比较

实验三：线性回归算法1 本实验旨在让学生熟悉并实现线性回归的基本概念及其在人脸识别中的应用。主要内容分为三个部分： 1. 多元线性回归： - 多元线性回归是基于多维度特征的预测模型。其核心思想是对每个特征赋予权重，通过加权求和得出一个标量值，用于预测目标变量。通过在样本的末尾添加常数1来处理偏移量，公式变为 。优化目标是使得残差平方和最小，通过最小化代价函数求解权重向量。 2. Logistics回归： - 在多元线性回归的基础上，Logistics回归通过sigmoid函数将实数预测值映射到[0,1]区间，适用于二分类问题。通过最大似然估计和梯度下降法训练模型，初始权重随机设定，然后根据sigmoid函数和概率公式更新权重，直到达到预设的精度标准。 3. 岭回归： - 当样本数小于特征数时，普通最小二乘法的模型矩阵可能不具有一般逆矩阵。岭回归引入L2正则化项（λI），其中λ控制正则化程度，使得模型在求解时考虑了模型复杂度的控制，避免过拟合。正则化的优化目标是加入正则化项后的代价函数，通过梯度下降求解权重矩阵。 这些回归算法在人脸识别中的性能比较有助于理解不同模型在处理人脸特征数据时的稳定性和准确性，同时也能提升学生对回归模型理论的实际运用能力。实验过程中，学生们需要对比不同算法的预测效果、模型训练时间和复杂度，以评估其适用场景和优劣。通过本实验，学生能够加深对基础统计学习理论的理解，并掌握实际编程实现和性能分析技巧。