LSTSVR梯度下降法的matlab程序

以下是LSTSVR梯度下降法的matlab程序示例：

% 加载数据
load data.mat;
X = data(:, 1:end-1);
Y = data(:, end);

% 参数初始化
theta = zeros(size(X, 2) + 1, 1); % 参数向量
alpha = 0.01; % 学习率
lambda = 1; % 正则化参数
max_iter = 1000; % 最大迭代次数
epsilon = 1e-5; % 收敛精度

% 特征缩放
[X, mu, sigma] = featureNormalize(X);

% 添加偏置项
X = [ones(size(X, 1), 1) X];

% 梯度下降
for i = 1:max_iter
    % 计算偏导数
    grad = computeGradient(X, Y, theta, lambda);
    
    % 更新参数
    theta = theta - alpha * grad;
    
    % 计算损失函数
    J = computeCost(X, Y, theta, lambda);
    
    % 检查是否收敛
    if abs(J - J_old) < epsilon
        break;
    end
    
    J_old = J;
end

% 预测
X_test = [1, 1650, 3];
X_test = (X_test - mu) ./ sigma; % 特征缩放
y_pred = X_test * theta;
fprintf('预测房价: %f\n', y_pred);

% 计算损失函数
J = computeCost(X, Y, theta, lambda);
fprintf('损失函数: %f\n', J);

% 计算R2分数
r2 = computeR2(X, Y, theta);
fprintf('R2分数: %f\n', r2);

% 计算均方误差
mse = computeMSE(X, Y, theta);
fprintf('均方误差: %f\n', mse);

function [J, grad] = computeCost(X, Y, theta, lambda)
    % 计算损失函数和梯度
    m = size(X, 1);
    h = X * theta;
    J = (1 / (2 * m)) * sum((h - Y) .^ 2) + (lambda / (2 * m)) * sum(theta(2:end) .^ 2);
    grad = (1 / m) * X' * (h - Y) + (lambda / m) * [0; theta(2:end)];
end

function grad = computeGradient(X, Y, theta, lambda)
    % 计算梯度
    m = size(X, 1);
    h = X * theta;
    grad = (1 / m) * X' * (h - Y) + (lambda / m) * [0; theta(2:end)];
end

function r2 = computeR2(X, Y, theta)
    % 计算R2分数
    m = size(X, 1);
    h = X * theta;
    r2 = 1 - sum((h - Y) .^ 2) / sum((Y - mean(Y)) .^ 2);
end

function mse = computeMSE(X, Y, theta)
    % 计算均方误差
    m = size(X, 1);
    h = X * theta;
    mse = sum((h - Y) .^ 2) / m;
end

function [X_norm, mu, sigma] = featureNormalize(X)
    % 特征缩放
    mu = mean(X);
    sigma = std(X);
    X_norm = (X - mu) ./ sigma;
end

其中，`data.mat`是存储训练数据的.mat文件，包含了一个$n$行$m+1$列的矩阵，前$m$列是$n$个样本的特征，最后一列是对应的标签。`theta`是参数向量，`alpha`是学习率，`lambda`是正则化参数，`max_iter`是最大迭代次数，`epsilon`是收敛精度。`computeCost`函数计算损失函数和梯度，`computeGradient`函数计算梯度，`computeR2`函数计算R2分数，`computeMSE`函数计算均方误差，`featureNormalize`函数实现特征缩放。