MATLAB最小二乘法正则化秘籍：提升模型泛化能力，应对过拟合

# 1. 最小二乘法与过拟合**

**1.1 最小二乘法的原理和目标**

最小二乘法是一种回归分析方法，其目标是寻找一条直线或曲线，使得该直线或曲线与给定数据点的平方误差和最小。该方法通过最小化以下目标函数来实现：

f(w) = 1/2 * ||y - Xw||^2

其中：

* w 为模型参数
* X 为输入数据
* y 为目标值

**1.2 过拟合的定义和影响**

过拟合是指模型在训练数据集上表现良好，但在新数据上泛化能力差的情况。这通常是由模型过于复杂，对训练数据中的噪声和异常值过度拟合造成的。过拟合会导致模型预测不准确，并且对新数据的鲁棒性差。

# 2. 正则化的理论基础

### 正则化的概念和作用

正则化是一种数学技术，用于解决机器学习模型中的过拟合问题。过拟合是指模型在训练数据集上表现良好，但在新数据上泛化能力差的情况。

正则化通过向模型的损失函数添加一个正则化项来实现。正则化项惩罚模型的复杂度，从而防止模型过拟合。

### 正则化项的类型

常用的正则化项有：

- **L1正则化（LASSO）：**惩罚模型中系数的绝对值之和。它可以产生稀疏的解，其中许多系数为零。
- **L2正则化（岭回归）：**惩罚模型中系数的平方和。它可以产生更平滑的解，其中所有系数都非零。

### 正则化参数的选择方法

正则化参数控制正则化项的强度。选择合适的正则化参数至关重要，因为它可以平衡模型的复杂度和泛化能力。

常用的正则化参数选择方法包括：

- **交叉验证：**将数据集划分为训练集和验证集。对于一系列不同的正则化参数，在训练集上训练模型，并在验证集上评估模型的泛化能力。选择在验证集上泛化能力最佳的正则化参数。
- **AIC（赤池信息准则）：**一种基于信息论的模型选择准则。AIC将模型的复杂度和拟合优度考虑在内。选择具有最小AIC值的正则化参数。
- **BIC（贝叶斯信息准则）：**另一种基于信息论的模型选择准则。BIC与AIC类似，但对模型复杂度的惩罚更严格。选择具有最小BIC值的正则化参数。

**代码块：**

% 导入数据
data = load('data.mat');

% 创建模型
model = fitlm(data.X, data.y);

% 添加 L1 正则化
model_lasso = lasso(data.X, data.y, 'Lambda', 0.1);

% 添加 L2 正则化
model_ridge = ridge(data.X, data.y, 'Lambda', 0.1);

% 比较模型
figure;
plot(data.