【基础】偏差与方差之间的权衡

# 2.1 偏差的定义和度量

偏差是模型预测值与真实值之间的系统性差异。它衡量了模型对训练数据的拟合程度，以及模型是否能够捕获数据的潜在规律。偏差可以分为两类：

- **正偏差（过拟合）：**当模型对训练数据拟合得太好时，它会记住训练数据的具体细节，而忽略了数据的潜在规律。这会导致模型在训练数据上表现良好，但在新数据上表现不佳。
- **负偏差（欠拟合）：**当模型对训练数据拟合得不够好时，它无法捕获数据的潜在规律。这会导致模型在训练数据和新数据上都表现不佳。

偏差的度量可以使用平均绝对误差（MAE）、均方根误差（RMSE）或相关系数（R^2）等指标。

# 2. 偏差与方差的理论基础

### 2.1 偏差的定义和度量

**偏差**衡量模型预测值与真实值之间的系统性差异。它反映了模型对数据的拟合程度，即模型的预测能力。偏差为正表示模型预测值比真实值大，偏差为负表示模型预测值比真实值小。

**偏差的度量：**

* **平均绝对误差 (MAE)**：预测值与真实值之间的平均绝对差值。
* **均方误差 (MSE)**：预测值与真实值之间的平均平方差值。
* **根均方误差 (RMSE)**：MSE 的平方根，表示预测误差的标准差。

### 2.2 方差的定义和度量

**方差**衡量模型预测值在不同数据集上的变化程度。它反映了模型对数据的敏感性，即模型的稳定性。方差越大，模型预测值越不稳定，对数据的变化越敏感。

**方差的度量：**

* **样本方差**：样本中各数据点与样本均值之间的平方差的平均值。
* **无偏估计方差**：样本方差除以样本容量减 1。
* **标准差**：方差的平方根，表示预测误差的标准差。

### 2.3 偏差-方差分解

**偏差-方差分解**将模型的预测误差分解为偏差和方差两部分。它有助于理解模型预测性能的来源，并指导模型的改进。

**分解公式：**

预测误差^2 = 偏差^2 + 方差

**代码块：**

import numpy as np

def bias_variance_decomposition(y_true, y_pred):
  """计算偏差-方差分解。

  Args:
    y_true: 真实值。
    y_pred: 预测值。

  Returns:
    偏差、方差、预测误差。
  """

  # 计算偏差
  bias = np.mean(y_pred) - np.mean(y_true)

  # 计算方差
  variance = np.var(y_pred)

  # 计算预测误差
  error = np.mean((y_pred - y_true) ** 2)

  return bias, variance, error

**逻辑分析：**

该代