线性回归（最小二乘法

线性回归是一种用于建立自变量和因变量之间线性关系的模型。最小二乘法是一种常用的线性回归方法，它的目标是找到一条直线，使得所有数据点到这条直线的距离之和最小。下面是最小二乘法的步骤：

1. 假设特征变量Xi满足线性关系，即y = a0 + a1x1 + a2x2 + ... + anxn。
2. 根据给定的训练数据，计算出每个自变量Xi和因变量y的平均值。
3. 计算自变量Xi和因变量y的协方差和自变量Xi的方差。
4. 计算回归系数a1、a2、...、an和截距a0。
5. 得到线性回归方程y = a0 + a1x1 + a2x2 + ... + anxn。

下面是一个使用最小二乘法进行线性回归的Python代码示例：

import numpy as np

# 定义自变量和因变量
x = np.array([1, 2, 3, 4, 5])
y = np.array([2, 4, 5, 4, 5])

# 计算自变量和因变量的平均值
x_mean = np.mean(x)
y_mean = np.mean(y)

# 计算自变量和因变量的协方差和自变量的方差
cov_xy = np.sum((x - x_mean) * (y - y_mean))
var_x = np.sum((x - x_mean) ** 2)

# 计算回归系数和截距
a1 = cov_xy / var_x
a0 = y_mean - a1 * x_mean

# 得到线性回归方程
print("Linear Regression Equation: y = %.2f + %.2fx" % (a0, a1))