最小二乘法求多元回归系数的代码

下面是使用最小二乘法求多元回归系数的 Python 代码：

import numpy as np

def least_squares(X, y):
    """
    使用最小二乘法求解多元线性回归系数
    :param X: 自变量（训练数据），array-like，shape = [n_samples, n_features]
    :param y: 目标变量（训练数据），array-like，shape = [n_samples,]
    :return: 系数，array-like，shape = [n_features,]
    """
    # 添加一列常数项
    X = np.concatenate((X, np.ones((X.shape[0], 1))), axis=1)
    # 计算系数
    beta = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)
    return beta

其中，X 是自变量（训练数据），y 是目标变量（训练数据），返回值 beta 是系数。请注意，此处的 X 和 y 都应该是 numpy 数组，而不是列表等其他数据类型。

相关问题

最小二乘法求解多元线性回归系数代码

最小二乘法是一种常见的统计学方法，用于估计多元线性回归模型中的参数，即各个自变量对因变量影响程度的系数。在编程中，特别是使用Python的科学计算库如NumPy，可以编写简单的代码来实现这一过程。以下是一个基本的例子：

import numpy as np

# 假设我们有自变量X（二维数组，行代表样本，列代表特征）和目标变量y（一维数组）
X = np.array([[x11, x12, ...], [x21, x22, ...], ..., [xn1, xn2, ...]])
y = np.array([y1, y2, ..., yn])

# 将X归一化或者标准化，有助于提高算法性能
X = (X - X.mean(axis=0)) / X.std(axis=0)

# 矩阵运算求解系数
beta = np.linalg.inv(X.T @ X) @ X.T @ y

# beta是一个数组，其中每个元素对应于一个特征对应的系数

在这个例子中，`np.linalg.inv()`函数用于计算X的转置矩阵XT乘以X的逆，这是最小二乘法的公式，然后通过点积得到y关于X的线性预测的最优参数。

最小二乘法实现多元线性回归代码

以下是使用最小二乘法实现多元线性回归的示例代码：

import numpy as np

# 生成训练数据
X = np.array([[145, 2.1, 18], [156, 2.2, 20], [160, 2.4, 22], [170, 2.6, 24], [180, 2.8, 26]])
y = np.array([68, 71, 73, 76, 77])

# 计算回归系数
X_b = np.c_[np.ones((5,1)), X]  # 添加常数列 x0 = 1
theta_hat = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y)

# 预测新数据
X_new = np.array([[162, 2.3, 21], [172, 2.7, 25]])
X_new_b = np.c_[np.ones((2,1)), X_new]
y_predict = X_new_b.dot(theta_hat)

# 打印结果
print("theta_hat:", theta_hat)
print("y_predict:", y_predict)

说明：

- 训练数据为 5 个样本，每个样本有 3 个特征；
- 样本特征分别为身高、体重指数、年龄，目标为预测体重；
- 使用最小二乘法计算回归系数；
- 预测两个新样本的体重。