python实现加权最小二乘回归

加权最小二乘回归是一种回归分析方法，它可以用来拟合一个带权重的线性模型，以使模型与实际数据之间的误差最小化。Python中可以使用Scikit-learn库中的linear_model模块来实现加权最小二乘回归。具体步骤如下：

1.导入linear_model模块：`from sklearn.linear_model import LinearRegression`

2.创建一个加权最小二乘回归模型：`model = LinearRegression()`

3.使用模型拟合数据：`model.fit(X, y, sample_weight=w)`

其中，X是特征矩阵，y是标签向量，w是每个样本的权重向量。

4.预测新数据：`y_pred = model.predict(X_new)`

相关问题：
1. 什么是线性回归？
2. Scikit-learn库中的linear_model模块有哪些常用的方法？
3. 加权最小二乘回归与普通最小二乘回归有何不同？

相关问题

迭代加权最小二乘的逻辑回归

### 迭代加权最小二乘法在逻辑回归中的实现与解释

#### 1. 方法概述
迭代加权最小二乘法（Iteratively Reweighted Least Squares, IRLS）是一种用于求解广义线性模型参数估计的方法，在逻辑回归中尤为常见。该方法通过一系列加权最小二乘问题逐步逼近最大似然估计的结果。

#### 2. 数学原理
对于给定的数据集 \((x_i,y_i)\)，其中 \(y_i\) 是二元变量，IRLS 的目标是最小化负对数似然函数：

\[
L(\beta)=-\sum_{i=1}^{n}\left[y_i\log(p(x_i;\beta))+(1-y_i)\log(1-p(x_i;\beta))\right]
\]

这里 \(p(x_i;\beta)=\frac{1}{1+\exp(-z_i)}\) 表示事件发生的概率，\(z_i=\beta_0+x_i^T\beta\) 称为线性预测子[^1]。

为了简化优化过程，可以引入权重矩阵 W 和调整后的响应向量 z:

- 权重矩阵 W 对角线上元素为 \(w_i=p(x_i)(1-p(x_i))\)
- 调整后的响应向量 z 定义为 \(z=X\hat{\beta}+W^{-1}(Y-\mu)\)

基于此转换，原问题转化为标准形式的加权最小二乘问题：

\[
\min_\beta (Z-X\beta)^TW(Z-X\beta)
\]

每次迭代更新 β 后重新计算 p、W 和 Z，直到收敛为止。

#### 3. Python 实现代码
下面是一个简单的Python实现例子来展示如何利用scipy库解决这个问题：

import numpy as np
from scipy.optimize import minimize

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

def log_likelihood(beta, X, Y):
    scores = X.dot(beta)
    ll = np.sum(Y * scores - np.log(1 + np.exp(scores)))
    return -ll

def fit_logistic_regression_IRLS(X, y, tol=1e-8, max_iter=100):
    n_samples, n_features = X.shape
    
    beta = np.zeros(n_features)
    
    for _ in range(max_iter):
        mu = sigmoid(np.dot(X,beta))
        
        W = np.diag(mu*(1-mu))
        z = np.dot(X,beta)+(np.linalg.inv(W).dot(y-mu))
        
        result = minimize(lambda b: log_likelihood(b,X,z), beta)
        new_beta = result.x
        
        if np.allclose(new_beta, beta, rtol=tol):
            break
            
        beta = new_beta
    
    return beta

# Example usage:
X = ... # Feature matrix
y = ... # Target vector
beta_hat = fit_logistic_regression_IRLS(X, y)
print(f"Fitted coefficients:\n {beta_hat}")

加权平均偏最小二乘回归

### 加权偏最小二乘回归简介

加权偏最小二乘（Weighted Partial Least Squares, WPLS）是一种改进型的多元统计技术，旨在处理多变量预测问题中的多重共线性和异方差性。WPLS不仅继承了传统偏最小二乘法的优点——能够有效地减少维度并提取潜在因子，还引入权重机制来调整不同样本的重要性。

在实际应用场景中，当面对具有显著差异性的观测值时，赋予这些观测不同程度的关注度可以提高模型性能。例如，在化学计量学领域内，某些样品可能因为测量误差较大而被给予较低权重；相反地，则会对那些质量较高的数据点施加更大影响[^1]。

import numpy as np
from sklearn.cross_decomposition import PLSRegression

def weighted_pls_regression(X, y, sample_weights=None):
    """
    实现带权重的偏最小二乘回归
    
    参数:
        X : array-like of shape (n_samples, n_features)
            训练集输入特征矩阵
        
        y : array-like of shape (n_samples,) or (n_samples, n_targets)
            目标向量
            
        sample_weights : array-like of shape (n_samples,)
            各个训练实例对应的权重，默认为None表示均匀分配单位权重
    返回:
        pls_model : trained model object
                    经过拟合后的PLSR模型对象
    """

    if sample_weights is None:
        # 如果未提供特定权重则默认设置相等权重
        sample_weights = np.ones(len(y))
        
    # 将原始X,y按照给定权重进行变换得到新版本用于后续计算
    sqrt_w = np.sqrt(sample_weights).reshape(-1, 1)
    WX = X * sqrt_w
    Wy = y.reshape(-1, 1) * sqrt_w

    # 使用转换后的数据创建并训练PLSR模型
    pls_model = PLSRegression()
    pls_model.fit(WX, Wy)

    return pls_model

上述代码展示了如何基于`sklearn`库构建一个简单的带有自定义样例权重参数的支持函数来进行加权偏最小二乘回归分析。这里的关键在于通过对原输入空间\(X\)以及响应变量\(y\)实施平方根尺度下的缩放操作，从而间接实现了对各个观察单元的不同重视程度编码[^2]。