残差平方和（SSE）

残差平方和（SSE）指的是实际观测值与预测值之间差的平方的和。在回归分析中，SSE可以用来评估回归线对数据的拟合程度, 它越小，表示回归直线与实际数据越接近。下面是一个计算SSE的例子[^1]：

def SSE(y, y_pred):
    """
    计算残差平方和
    
    y: 实际值，数组类型
    y_pred: 预测值，数组类型
    """
    sse = sum((y - y_pred)**2)
    return sse

相关问题

r语言计算二元线性回归方程的残差平方和SSE

在R语言中，可以使用lm()函数来进行二元线性回归，然后使用summary()函数查看回归结果，其中包括了残差平方和SSE。

例如，假设有一个数据集df，其中x和y是自变量和因变量，可以使用以下代码计算二元线性回归方程的残差平方和SSE：

model <- lm(y ~ x, data = df)
summary(model)$sigma^2 * (nrow(df) - length(model$coefficients))

其中，summary(model)$sigma^2返回模型的残差方差，nrow(df)返回数据集df的行数，length(model$coefficients)返回模型的系数个数（包括截距和自变量系数）。

注意，这里的残差平方和SSE并不是lm()函数的输出结果之一，需要通过计算来得到。

PCA残差平方和最小化

### 主成分分析 (PCA) 中残差平方和最小化的原理

主成分分析的目标是在保留尽可能多的信息的同时降低数据维度。为了达到这一目标，PCA通过寻找能够最大化投影后方差的方向来进行降维处理[^2]。

具体来说，在PCA过程中，对于给定的数据集X，其大小为n×d（其中n代表样本数量，d表示原始特征数），算法试图找到一组正交向量$\mathbf{u}_i$作为新的坐标轴方向，使得当我们将原数据沿这些新轴重新映射时，所得到的新坐标的方差最大。这实际上等价于最小化重构误差或者说残差平方和(SSE)[^1]。

#### 数学表达形式

设$\hat{\mathbf{x}}_j=\sum_{k=1}^{p}\alpha_k\mathbf{u}_k$是对第$j$个观测值$x_j$的一个近似估计，这里的$p<d$意味着我们只选择了前几个最重要的主成分；而系数$\alpha_k=x_j^\top\mathbf{u}_k$则反映了该点在这条直线上的位置。那么针对整个训练集而言，总的重建损失可以定义如下：

$$ SSE(\mathbf{U}) = \frac{1}{N}\sum_{j=1}^{N}\|\mathbf{x}_{j}-\hat{\mathbf{x}}_{j}\|^2 $$

其中$\mathbf{U}$是由所有选定的主成分组成的矩阵[$\mathbf{u}_1,\dots ,\mathbf{u}_p]$。上述公式表明SSE衡量的是实际观察到的数据与其低维表示之间的差异程度。因此，优化过程旨在选取合适的$\mathbf{U}$使这个差距尽可能的小[^4]。

import numpy as np

def pca(X, n_components):
    # 计算协方差矩阵并标准化
    cov_matrix = np.cov(X.T)

    # 特征分解获取特征值与特征向量
    eigenvalues, eigenvectors = np.linalg.eig(cov_matrix)
    
    # 对应索引排序选出最大的n个特征值及其对应的特征向量
    idx = eigenvalues.argsort()[::-1][:n_components]
    top_eigenvecs = eigenvectors[:,idx]

    return top_eigenvecs.real

# 使用示例
data_points = [[...], [...]]  # 输入您的数据点列表
principal_components = pca(np.array(data_points), 2)
print(principal_components)

在这个Python函数`pca()`里实现了基于协方差矩阵的方法来执行PCA操作，并返回指定数目$n\_components$的最大特征向量集合。此代码片段展示了如何利用线性代数工具包numpy完成PCA的核心运算逻辑。