多元回归和多项式回归

# 1. 简介
### 1.1 什么是回归分析

回归分析是一种统计分析方法，用于研究一个或多个自变量与因变量之间的关系。在回归分析中，我们希望通过对已知的自变量和因变量的数据进行建模和分析，能够更好地了解自变量对因变量的影响程度，甚至进行因变量的预测。回归分析是数据分析的重要手段之一，广泛应用于各个领域，如经济学、社会学、医学和工程学等。

### 1.2 回归分析的应用领域

回归分析在实际应用中具有广泛的应用领域。以下是一些常见的应用领域：

- 经济学：用于预测和解释经济指标之间的关系，例如通货膨胀率与利率之间的关系。
- 社会学：用于研究社会现象与社会因素之间的关系，例如犯罪率与失业率之间的关系。
- 医学：用于研究疾病和健康因素之间的关系，例如血压与心脏病之间的关系。
- 工程学：用于建模和预测工程问题，例如材料的强度与温度之间的关系。

回归分析在实际应用中扮演了重要角色，帮助解决许多实际问题。在接下来的章节中，我们将介绍不同类型的回归分析方法及其应用。

# 2. 单变量线性回归

线性回归是一种用来建立和预测变量之间线性关系的统计模型。在单变量线性回归中，我们假设自变量和因变量之间存在线性关系，通过拟合一条直线来描述二者之间的关系。

### 2.1 简述线性回归模型

线性回归模型可以用以下公式表示：$y = \beta_0 + \beta_1x + \varepsilon$，其中$y$表示因变量，$x$表示自变量，$\beta_0$和$\beta_1$为模型参数，$\varepsilon$为误差 term。

### 2.2 单变量线性回归的假设条件

在进行单变量线性回归分析时，通常需要满足以下假设条件：

- 线性关系假设：自变量和因变量之间存在线性关系。
- 同方差性假设：误差 term 的方差是恒定的，即具有相同的方差。
- 独立性假设：误差 term 之间相互独立。
- 正态性假设：误差 term 呈正态分布。

### 2.3 最小二乘法估计参数

最小二乘法是一种常用的参数估计方法，通过最小化观测值与模型预测值的残差平方和来估计模型参数$\beta_0$和$\beta_1$。

import numpy as np
from sklearn.linear_model import LinearRegression

# 构造样本数据
X = np.array([1, 2, 3, 4, 5]).reshape(-1, 1)
y = np.array([2, 3, 4, 5, 6])

# 创建线性回归模型
model = LinearRegression()

# 拟合模型
model.fit(X, y)

# 输出模型参数
print('截距:', model.intercept_)
print('斜率:', model.coef_[0])

以上代码中，我们使用了Scikit-learn库来实现最小二乘法估计参数的过程，其中`X`为自变量，`y`为因变量。

### 2.4 模型评估与预测

在单变量线性回归中，我们通常使用均方误差（Mean Squared Error, MSE）、决定系数（Coefficient of Determination, $R^2$）等指标来评估模型的拟合优度，并通过模型进行因变量的预测。

# 使用模型进行预测
y_pred = model.predict(X)

# 计算均方误差
mse = np.mean((y - y_pred)**2)
print('均方误差:', mse)

# 计算决定系数
r2 = model.score(X, y)
print('决定系数:', r2)

通过以上代码，我们可以对模型进行评估，并使用模型进行新数据的预测。

# 3. 多元回归分析

多元回归分析是指包含多个自变量的回归分析模型。在实际应用中，很少有只包含一个自变量的情况