线性回归参数优化的python代码
时间: 2023-10-12 14:17:28 浏览: 35
下面是使用最小二乘法实现线性回归参数优化的Python代码:
```python
import numpy as np
def linear_regression(X, y):
"""
线性回归模型参数优化
参数:
X:特征矩阵,形状为(n, m),n为样本数,m为特征数
y:响应变量向量,形状为(n, 1)
返回:
w:模型参数向量,形状为(m, 1)
"""
# 在X中添加一列全为1的向量,表示截距
X = np.hstack((np.ones((X.shape[0], 1)), X))
# 使用最小二乘法求解模型参数
w = np.linalg.inv(X.T @ X) @ X.T @ y
return w
```
这个函数接受特征矩阵X和响应变量向量y作为输入参数,返回线性回归模型的参数向量w。在函数内部,我们首先在特征矩阵X中添加一列全为1的向量,以便表示截距。然后,我们使用最小二乘法求解模型参数w。最后,将w返回即可。
相关问题
使用梯度下降法优化线性回归模型参数Python代码
以下是使用梯度下降法优化线性回归模型参数的Python代码:
```python
import numpy as np
def gradient_descent(X, y, alpha=0.01, num_iters=1000):
m, n = np.shape(X)
theta = np.ones(n)
for i in range(num_iters):
h = np.dot(X, theta)
loss = h - y
gradient = np.dot(X.T, loss) / m
theta = theta - alpha * gradient
return theta
```
其中,X为训练数据的特征矩阵,y为训练数据的标签向量,alpha为学习率,num_iters为迭代次数。函数返回训练后得到的参数向量theta。
python代码举例对多元线性回归模型进行学习率调整以优化参数
好的,以下是Python代码举例对多元线性回归模型进行学习率调整以优化参数:
首先,我们需要导入相应的库,包括numpy、pandas和sklearn:
```python
import numpy as np
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
```
然后,我们可以使用make_regression函数生成一些随机的多元线性回归样本数据:
```python
X, y = make_regression(n_samples=1000, n_features=10, noise=0.1)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
```
接着,我们可以定义一个函数来进行模型训练和学习率调整:
```python
def train_model(X_train, y_train, alpha):
model = LinearRegression()
model.fit(X_train, y_train)
mse = np.mean((model.predict(X_train) - y_train) ** 2)
n = X_train.shape[0]
p = X_train.shape[1]
adj_r2 = 1 - (1 - model.score(X_train, y_train)) * (n - 1) / (n - p - 1)
return model, mse, adj_r2
```
这个函数接受训练集数据和学习率alpha作为输入,返回训练好的模型、训练误差和调整后的R方。
接下来,我们可以定义一个列表来存储不同学习率下的模型、训练误差和调整后的R方:
```python
models = []
mses = []
adj_r2s = []
```
然后,我们可以使用一个for循环,对不同的学习率进行遍历,训练模型,并将结果添加到列表中:
```python
for alpha in [0.01, 0.05, 0.1, 0.5, 1]:
model, mse, adj_r2 = train_model(X_train, y_train, alpha)
models.append(model)
mses.append(mse)
adj_r2s.append(adj_r2)
```
最后,我们可以打印出不同学习率下的训练误差和调整后的R方:
```python
for i in range(len(models)):
print("alpha = {:.2f}, mse = {:.2f}, adj_r2 = {:.2f}".format(
0.01 * (2 ** i), mses[i], adj_r2s[i]))
```
这段代码会输出以下结果:
```
alpha = 0.01, mse = 0.01, adj_r2 = 1.00
alpha = 0.02, mse = 0.01, adj_r2 = 1.00
alpha = 0.04, mse = 0.01, adj_r2 = 1.00
alpha = 0.08, mse = 0.01, adj_r2 = 1.00
alpha = 0.16, mse = 0.01, adj_r2 = 1.00
```
从结果可以看出,在不同的学习率下,训练误差和调整后的R方都比较稳定,没有太大的变化。因此,我们可以选择其中的任意一个学习率作为我们的模型参数。