实现一元线性回归;画出散点图、回归参数与迭代次数的变化曲线
时间: 2024-01-29 18:04:59 浏览: 79
一元线性回归
5星 · 资源好评率100%
好的,我可以帮你实现一元线性回归并画出相应的图形。
首先,让我们导入必要的库和数据集。这里我们使用scikit-learn的波士顿房价数据集,它包含房屋价格以及一些相关的特征。
```python
import numpy as np
from sklearn.datasets import load_boston
import matplotlib.pyplot as plt
%matplotlib inline
# 加载数据集
boston = load_boston()
# 取出房价和房间数量两个特征
X = boston.data[:, 5]
y = boston.target
```
接下来,我们需要定义一个代价函数和梯度下降函数。在这里,我们使用最小二乘法作为代价函数,使用批量梯度下降法进行训练。
```python
# 定义代价函数
def compute_cost(X, y, theta):
m = len(y)
predictions = X.dot(theta)
cost = (1/2*m) * np.sum(np.square(predictions-y))
return cost
# 定义梯度下降函数
def gradient_descent(X, y, theta, learning_rate, num_iterations):
m = len(y)
cost_history = np.zeros(num_iterations)
theta_history = np.zeros((num_iterations, 2))
for i in range(num_iterations):
predictions = X.dot(theta)
theta = theta - (1/m) * learning_rate * (X.T.dot(predictions-y))
theta_history[i,:] = theta.T
cost_history[i] = compute_cost(X, y, theta)
return theta, cost_history, theta_history
```
接下来,我们需要对数据进行预处理,包括添加一列常数1,将数据集分为训练集和测试集。
```python
# 添加一列常数1
X = np.c_[np.ones((len(X), 1)), X]
# 将数据集分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
```
然后,我们需要初始化模型参数theta,并设定学习率和迭代次数。
```python
# 初始化模型参数theta
theta = np.random.randn(2,1)
# 设定学习率和迭代次数
learning_rate = 0.01
num_iterations = 1000
```
现在,我们可以使用梯度下降算法来训练模型。
```python
theta, cost_history, theta_history = gradient_descent(X_train, y_train, theta, learning_rate, num_iterations)
```
最后,我们可以使用训练好的模型对测试集进行预测,并计算模型的均方误差。
```python
# 使用模型进行预测
predictions = X_test.dot(theta)
# 计算模型的均方误差
mse = np.mean(np.square(predictions-y_test))
print("均方误差:", mse)
```
接下来,我们可以绘制出散点图和回归直线,并画出回归参数与迭代次数的变化曲线。
```python
# 绘制散点图和回归直线
plt.scatter(X_test[:,1], y_test)
plt.plot(X_test[:,1], predictions, color='red')
plt.xlabel('房间数量')
plt.ylabel('房价')
plt.show()
# 绘制回归参数与迭代次数的变化曲线
plt.plot(range(num_iterations), cost_history)
plt.xlabel('迭代次数')
plt.ylabel('代价函数值')
plt.show()
```
下面是完整代码:
阅读全文