【GLM与线性回归】：广义线性模型与线性回归的异同探讨

# 1. GLM与线性回归概述

广义线性模型（GLM）是统计学中一种重要的模型框架，其将线性回归作为特例。GLM在应用中能够更灵活地适应不同的数据格式和分布特征，是许多领域中的重要工具。线性回归作为GLM的一种基本形式，通过拟合观测数据来探讨自变量与因变量之间的关系，为后续的GLM理论与方法提供了基础。在GLM与线性回归的概述中，我们将深入探讨它们的关系、区别以及在实际应用中的价值所在。

# 2.1 线性回归原理

线性回归是一种常见的统计学习方法，旨在研究自变量与因变量之间的线性关系。在实际应用中，我们通常使用最小二乘法拟合线性回归模型，并通过残差分析来验证模型的可靠性。

### 2.1.1 线性回归假设

在线性回归中，通常有几个基本假设：
- 自变量和因变量之间存在线性关系。
- 残差服从均值为0的正态分布。
- 自变量之间相互独立，不存在多重共线性。

具体来说，线性回归假设了因变量$y$可以表示为自变量$x$的线性组合，即$y = β0 + β1*x1 + β2*x2 + ... + βn*xn + ε$，其中$β0, β1, β2, ..., βn$ 为模型参数，$ε$为误差项。

### 2.1.2 最小二乘法

最小二乘法是一种常用的参数估计方法，通过最小化观测值与模型估计值之间的残差平方和来确定模型参数。其数学表达式为$min ∑(yi - ŷi)^2$，其中$yi$为实际观测值，$ŷi$为模型预测值。

# 最小二乘法示例
import numpy as np
from sklearn.linear_model import LinearRegression

# 构造示例数据
X = np.array([[1], [2], [3], [4], [5]])
y = np.array([2, 4, 5, 4, 5])

# 创建线性回归模型
model = LinearRegression()
model.fit(X, y)

# 打印模型参数
print(f'模型参数：斜率={model.coef_[0]}, 截距={model.intercept_}')

结果输出：

模型参数：斜率=0.3, 截距=2.6

### 2.1.3 残差分析

残差是观测值与模型估计值之间的差异，残差分析是评价线性回归模型拟合效果的重要手段。通常通过残差的分布、残差的独立性、残差与自变量的关系等来检验模型的拟合程度。

# 残差分析示例
y_pred = model.predict(X)
residuals = y - y_pred

# 绘制残差分布图
import seaborn as sns
import matplotlib.pyplot as plt
sns.residplot(y=y, x=y_pred, lowess=True, line_kws={'color': 'red'})
plt.xlabel('预测值')
plt.ylabel('残差')
plt.title('残差分布图')
plt.show()

通过残差分析，我们可以更好地理解模型的拟合效果，进而评估线性回归模型的有效性和可靠性。

在下一节中，我们将探讨线性回归的应用，包括模型建立、参数估计和评估方法。

# 3. 广义线性模型介绍

### 3.1 GLM基本概念

广义线性模型（Generalized Linear Model，GLM）是对线性模型的扩展，允许因变量服从不同于正态分布的分布，适用于更广泛的数据类型。在本节中，我们将深入探讨GLM的基本概念。

#### 3.1.1 链接函数

在GLM中，使用链接函数（link function）将因变量的期望值与自变量的线性组合联系起来。常见的链接函数包括：logit、probit、identity、log等。选择不同的链接函数可以适应不同类型的数据。

#### 3.1.2 响应变量的分布

GLM将因变量的分布分为两个部分：概率密度函数和连接函数。通过配对这两部分，可以灵活地适应各种不同的数据类型，如二项分布、泊松分布等。

#### 3.1.3 系数解释

GLM的系数可以用来解释自变量对因变量的影响。由于GLM不要求误差服从正态分布，因此系数的解释更加直观和准确，有助于理解变量间的关系。

### 3.2 GLM与线性回归对比

GLM与线性回归有着密