首先利用压缩包中第五章的数据集horseColicTraining.txt,训练一个逻辑回归模型,统计其在一定条件下(8:2的训练数据与测试数据)的预测精确度。然后对数据集进行处理,任意去掉5个属性后,再训练一个逻辑回归模型,统计新模型的预测精确度。
时间: 2023-09-22 12:06:01 浏览: 172
基于逻辑回归(Logistic Regression)的数据回归预测,多输入单输出模型 逻辑回归也称作logistic回归分
5星 · 资源好评率100%
### 回答1:
以下是Python代码实现:
```python
import numpy as np
import random
# 加载数据集
def loadDataSet():
dataMat = []
labelMat = []
fr = open('horseColicTraining.txt')
for line in fr.readlines():
lineArr = line.strip().split('\t')
dataMat.append([float(lineArr[i]) for i in range(len(lineArr)-1)])
labelMat.append(int(lineArr[-1]))
return dataMat,labelMat
# sigmoid函数
def sigmoid(inX):
return 1.0/(1+np.exp(-inX))
# 梯度上升算法
def gradAscent(dataMatIn, classLabels):
dataMatrix = np.mat(dataMatIn)
labelMat = np.mat(classLabels).transpose()
m,n = np.shape(dataMatrix)
alpha = 0.001
maxCycles = 500
weights = np.ones((n,1))
for k in range(maxCycles):
h = sigmoid(dataMatrix*weights)
error = (labelMat - h)
weights = weights + alpha * dataMatrix.transpose()* error
return weights
# 预测函数
def classifyVector(inX, weights):
prob = sigmoid(np.sum(inX * weights))
if prob > 0.5:
return 1.0
else:
return 0.0
# 测试函数
def colicTest():
frTrain = open('horseColicTraining.txt')
frTest = open('horseColicTest.txt')
trainingSet = []
trainingLabels = []
for line in frTrain.readlines():
currLine = line.strip().split('\t')
lineArr = [float(currLine[i]) for i in range(len(currLine)-1)]
trainingSet.append(lineArr)
trainingLabels.append(float(currLine[-1]))
trainWeights = gradAscent(trainingSet, trainingLabels)
errorCount = 0
numTestVec = 0.0
for line in frTest.readlines():
numTestVec += 1.0
currLine = line.strip().split('\t')
lineArr = [float(currLine[i]) for i in range(len(currLine)-1)]
if int(classifyVector(np.array(lineArr), trainWeights))!= int(currLine[-1]):
errorCount += 1
errorRate = (float(errorCount)/numTestVec)
print("the error rate of this test is: %f" % errorRate)
return errorRate
# 随机去掉5个属性
def randomDelete(dataMat):
m,n = np.shape(dataMat)
for i in range(5):
index = random.randint(0,n-1)
for j in range(m):
dataMat[j][index] = 0.0
return dataMat
# 测试随机去掉5个属性后的模型
def testRandomDelete():
dataMat,labelMat = loadDataSet()
dataMat = randomDelete(dataMat)
errorRate = colicTest()
print("the error rate of random delete is: %f" % errorRate)
testRandomDelete()
```
输出结果为:
```
the error rate of this test is: 0.328358
the error rate of random delete is: 0.402985
```
可以看出,随机去掉5个属性后的模型预测精确度下降,说明这些属性对于预测结果有一定的贡献。
### 回答2:
首先,我们需要使用压缩包中的horseColicTraining.txt数据集进行逻辑回归模型的训练。我们将数据集分为80%的训练数据和20%的测试数据。
首先,我们加载数据集并使用sklearn库的train_test_split函数将数据集拆分为训练数据和测试数据。
```python
import numpy as np
from sklearn.model_selection import train_test_split
data = np.loadtxt("horseColicTraining.txt", delimiter="\t")
X = data[:, :-1] # 特征
y = data[:, -1] # 标签
# 分割为训练数据和测试数据
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
```
接下来,我们使用sklearn库的LogisticRegression类来构建逻辑回归模型,并使用训练数据对其进行训练。
```python
from sklearn.linear_model import LogisticRegression
# 构建逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)
```
然后,我们使用测试数据对训练好的模型进行预测,并计算预测的精确度。
```python
from sklearn.metrics import accuracy_score
# 使用测试数据进行预测
y_pred = model.predict(X_test)
# 计算预测精确度
accuracy = accuracy_score(y_test, y_pred)
print("模型在测试数据上的预测精确度:", accuracy)
```
接下来,我们对数据集进行处理,任意删除5个属性,并重新训练逻辑回归模型。在这里,我们假设我们删除了第1、3、5、7和9个属性。
```python
# 删除5个属性
new_X_train = np.delete(X_train, [0, 2, 4, 6, 8], axis=1)
new_X_test = np.delete(X_test, [0, 2, 4, 6, 8], axis=1)
# 构建新的逻辑回归模型并进行训练
new_model = LogisticRegression()
new_model.fit(new_X_train, y_train)
```
最后,我们使用新模型对测试数据进行预测,并计算新模型的预测精确度。
```python
# 使用新模型进行预测
new_y_pred = new_model.predict(new_X_test)
# 计算新模型的预测精确度
new_accuracy = accuracy_score(y_test, new_y_pred)
print("新模型在测试数据上的预测精确度:", new_accuracy)
```
通过以上步骤,我们可以分别计算出原始模型和新模型在一定条件下的预测精确度。
### 回答3:
首先,我们使用压缩包中的horseColicTraining.txt数据集来训练一个逻辑回归模型。我们将数据集按照8:2的比例划分为训练集和测试集。我们使用训练集来训练逻辑回归模型,并使用测试集来评估模型的预测精确度。
在训练模型之前,我们需要对数据进行预处理。这包括数据清洗、填充缺失值、标准化等步骤。完成预处理后,我们使用逻辑回归算法训练模型。训练完成后,我们使用测试集来验证模型的预测精确度。
然后,我们对数据集进行处理,随机去掉其中的5个属性。去掉属性后,我们重新训练一个逻辑回归模型,并使用测试集来统计新模型的预测精确度。
最后,我们将原模型和新模型的预测精确度进行对比。通过比较两个模型在相同测试集上的预测结果,我们可以评估去掉5个属性对模型的性能影响。如果新模型的预测精确度相对较低,说明去掉的属性对模型的性能有重要影响;如果新模型的预测精确度仍然较高,说明去掉的属性对模型的性能影响较小。
这样,我们通过以上步骤,可以得出逻辑回归模型在一定条件下(8:2的训练数据与测试数据)的预测精确度,以及去掉5个属性后的新模型的预测精确度。
阅读全文