详细描述python编写线性回归器模型,编写损失函数、编写梯度反传函数;实现 diamonds 特征(carat, cut,color,clarity,depth,table,x,y,z)对价格(price)的预测并可视化;训练数据为第 1-40000 条数据中所有合数索引对应的数据;测试数据为第 1-40000 条数据中所有质数索引对应的 数据(4203 个)。
时间: 2023-06-10 09:06:38 浏览: 121
首先,我们需要导入所需的库:
```python
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
```
然后,我们可以读取 diamonds 数据集:
```python
diamonds = pd.read_csv('diamonds.csv')
# 取前40000条数据
diamonds = diamonds.head(40000)
# 取出 carat、cut、color、clarity、depth、table、x、y、z、price 这些特征
diamonds = diamonds[['carat', 'cut', 'color', 'clarity', 'depth', 'table', 'x', 'y', 'z', 'price']]
```
接下来,我们需要对数据进行预处理。首先,我们需要对类别型特征进行独热编码,以便在模型中使用。其次,我们需要对数值型特征进行归一化处理,以避免不同特征值范围带来的影响。
```python
# 对类别型特征进行独热编码
diamonds = pd.get_dummies(diamonds, columns=['cut', 'color', 'clarity'])
# 对数值型特征进行归一化处理
diamonds['carat'] = (diamonds['carat'] - diamonds['carat'].mean()) / diamonds['carat'].std()
diamonds['depth'] = (diamonds['depth'] - diamonds['depth'].mean()) / diamonds['depth'].std()
diamonds['table'] = (diamonds['table'] - diamonds['table'].mean()) / diamonds['table'].std()
diamonds['x'] = (diamonds['x'] - diamonds['x'].mean()) / diamonds['x'].std()
diamonds['y'] = (diamonds['y'] - diamonds['y'].mean()) / diamonds['y'].std()
diamonds['z'] = (diamonds['z'] - diamonds['z'].mean()) / diamonds['z'].std()
diamonds['price'] = (diamonds['price'] - diamonds['price'].mean()) / diamonds['price'].std()
```
现在,我们可以将数据集分为训练集和测试集:
```python
# 取出第1-40000条数据中所有合数索引对应的数据作为训练数据
train_data = diamonds[diamonds.index % 2 == 0]
# 取出第1-40000条数据中所有质数索引对应的数据作为测试数据
test_data = diamonds[diamonds.index % 2 == 1]
```
接下来,我们可以编写线性回归模型。假设我们的模型是:
$$
y = w_1x_1 + w_2x_2 + \cdots + w_nx_n + b
$$
其中,$x_1,x_2,\cdots,x_n$ 是特征, $w_1,w_2,\cdots,w_n$ 是权重,$b$ 是偏置。我们的目标是通过训练数据来学习出最优的权重和偏置。
首先,我们需要定义模型的前向传播过程:
```python
def forward(X, weights, bias):
return np.dot(X, weights) + bias
```
其中,$X$ 是输入特征,$weights$ 是权重,$bias$ 是偏置。该函数的作用是计算模型的输出。
接下来,我们需要定义损失函数。我们选择均方误差作为损失函数:
$$
L = \frac{1}{2m}\sum_{i=1}^m(y_i - \hat{y_i})^2
$$
其中,$m$ 是样本数量,$y_i$ 是实际输出,$\hat{y_i}$ 是模型输出。
```python
def loss(y, y_hat):
return np.mean((y - y_hat) ** 2)
```
接下来,我们需要定义梯度反传函数。我们需要计算出损失函数对权重和偏置的导数,以便使用梯度下降法更新权重和偏置。
$$
\frac{\partial L}{\partial w_j} = \frac{1}{m}\sum_{i=1}^m(y_i - \hat{y_i})x_{ij}
$$
$$
\frac{\partial L}{\partial b} = \frac{1}{m}\sum_{i=1}^m(y_i - \hat{y_i})
$$
其中,$x_{ij}$ 是第 $i$ 个样本的第 $j$ 个特征。
```python
def backward(X, y, y_hat):
m = X.shape[0]
dw = np.dot(X.T, y_hat - y) / m
db = np.mean(y_hat - y)
return dw, db
```
现在,我们可以使用上述函数来训练模型:
```python
# 初始化权重和偏置
weights = np.zeros((train_data.shape[1] - 1, 1))
bias = 0
# 设置学习率和迭代次数
learning_rate = 0.01
num_iterations = 1000
# 记录训练过程中的损失值
train_loss = []
test_loss = []
# 开始训练
for i in range(num_iterations):
# 计算训练集上的预测值和损失
train_X = train_data.iloc[:, :-1].values
train_y = train_data.iloc[:, -1].values.reshape(-1, 1)
train_y_hat = forward(train_X, weights, bias)
train_loss.append(loss(train_y, train_y_hat))
# 计算测试集上的预测值和损失
test_X = test_data.iloc[:, :-1].values
test_y = test_data.iloc[:, -1].values.reshape(-1, 1)
test_y_hat = forward(test_X, weights, bias)
test_loss.append(loss(test_y, test_y_hat))
# 计算梯度并更新权重和偏置
dw, db = backward(train_X, train_y, train_y_hat)
weights -= learning_rate * dw
bias -= learning_rate * db
# 打印训练过程中的损失值
if i % 100 == 0:
print('iteration {}: train loss = {}, test loss = {}'.format(i, train_loss[-1], test_loss[-1]))
# 可视化训练过程中的损失值
plt.plot(train_loss, label='train loss')
plt.plot(test_loss, label='test loss')
plt.legend()
plt.show()
```
最后,我们可以使用训练好的模型来进行预测:
```python
# 取出前4203条数据作为测试数据
test_data = diamonds.head(4203)
# 对测试数据进行预处理
test_data = pd.get_dummies(test_data, columns=['cut', 'color', 'clarity'])
test_data['carat'] = (test_data['carat'] - diamonds['carat'].mean()) / diamonds['carat'].std()
test_data['depth'] = (test_data['depth'] - diamonds['depth'].mean()) / diamonds['depth'].std()
test_data['table'] = (test_data['table'] - diamonds['table'].mean()) / diamonds['table'].std()
test_data['x'] = (test_data['x'] - diamonds['x'].mean()) / diamonds['x'].std()
test_data['y'] = (test_data['y'] - diamonds['y'].mean()) / diamonds['y'].std()
test_data['z'] = (test_data['z'] - diamonds['z'].mean()) / diamonds['z'].std()
# 进行预测
X_test = test_data.iloc[:, :-1].values
y_test = test_data.iloc[:, -1].values.reshape(-1, 1)
y_test_hat = forward(X_test, weights, bias)
# 可视化预测结果
plt.plot(y_test, label='actual')
plt.plot(y_test_hat, label='predicted')
plt.legend()
plt.show()
```
这样,我们就完成了对 diamonds 数据集的线性回归模型的编写、训练和预测,并可视化了预测结果。
阅读全文
相关推荐


















