python线性回归 正规方程法

线性回归是一种常用的机器学习算法，用于建立连续目标变量与一个或多个自变量之间的线性关系。正规方程法是一种求解线性回归问题的方法，它通过对模型参数进行求导并令导数为零来获得最优解。

下面是使用Python进行线性回归正规方程法的示例代码：

import numpy as np

# 输入特征矩阵 X 和目标变量向量 y
X = np.array([[1, 1], [1, 2], [1, 3], [1, 4]])
y = np.array([2, 3, 4, 5])

# 使用正规方程法求解线性回归参数
theta = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)

# 打印回归参数
print("回归参数：", theta)

运行上述代码，输出结果会显示线性回归的参数值。

请注意，正规方程法在样本数量较少时效果较好，但在样本数量较大时可能会受到计算复杂度的限制。在实际应用中，可以结合其他优化算法如梯度下降来解决大规模样本的线性回归问题。

相关问题

正规方程求解线性回归python

正规方程是一种求解线性回归的方法，它通过求解最小二乘问题，直接得到了线性回归的参数。在Python中，可以使用numpy库中的线性代数函数来计算正规方程。

下面是使用正规方程求解线性回归的步骤：
1. 导入必要的库：import numpy as np
2. 定义正规方程函数：def normalEqn(X, y): theta = np.linalg.inv(X.T@X)@X.T@y return theta
3. 调用正规方程函数计算线性回归参数：final_theta = normalEqn(X, y)

其中X是特征矩阵，y是目标变量向量，final_theta是计算得到的线性回归参数。

实验一 利用线性回归预测鲍鱼年龄 实验目的： 1、 理解线性回归基本原理； 2、 学会用python实现线性回归； 3、 学会用sklearn实现线性回归。 实验内容： 1、 用python编写线性回归程序，其中求解目标函数的方法是正规方程法； 2、 应用预测鲍鱼年龄数据集对上述算法进行验证，画出可视化图形，并进行分析。 3、 代码参考《机器学习实战》第8章“预测数值型数据：回归”相关内容。

实验步骤：

1、导入所需库和数据集

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

df = pd.read_csv('abalone.csv', header=None, names=['Sex', 'Length', 'Diameter', 'Height', 'Whole weight', 'Shucked weight', 'Viscera weight', 'Shell weight', 'Rings'])

2、将字符串类型的性别转换成数值型

df['Sex'] = df['Sex'].map({'M': 1, 'F': 2, 'I': 3})

3、将数据集分成训练集和测试集

train_df = df[:-1000]
test_df = df[-1000:]

4、定义线性回归模型并训练模型

X_train = train_df.drop('Rings', axis=1)
y_train = train_df['Rings']
lr = LinearRegression()
lr.fit(X_train, y_train)

5、预测测试集并计算均方误差

X_test = test_df.drop('Rings', axis=1)
y_test = test_df['Rings']
y_pred = lr.predict(X_test)
mse = np.mean((y_test - y_pred) ** 2)
print('Mean squared error:', mse)

6、可视化展示预测结果

plt.scatter(y_test, y_pred)
plt.plot([0, 30], [0, 30], '--k')
plt.xlabel('True values')
plt.ylabel('Predictions')
plt.show()

7、分析预测结果

从可视化图形上看，预测结果与真实值比较接近，但也存在一些误差。均方误差也比较小，说明模型的预测能力还是比较不错的。但需要注意的是，这里只使用了线性回归模型，可能存在欠拟合的情况，因此可以尝试使用其他更复杂的模型进行预测。