逻辑回归实战练习——根据学生成绩预测是否被录取

本次逻辑回归实战练习我们将使用一个经典的数据集——“学生录取数据集”。

该数据集包含三个特征变量：考试1成绩、考试2成绩、录取结果（0表示未被录取，1表示被录取）。

我们的目标是构建一个逻辑回归模型，根据学生的两次考试成绩预测学生是否会被录取。

步骤1：导入必要的库和数据集

我们需要导入以下库：

- pandas：用于数据加载和处理
- numpy：用于矩阵计算
- matplotlib：用于绘制数据可视化图表
- sklearn：用于构建逻辑回归模型和评估模型性能

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report

接着，我们加载数据集：

data = pd.read_csv('https://raw.githubusercontent.com/cryad/Logistic_Regression/master/exam_scores.csv')

步骤2：数据探索和可视化

我们将使用pandas和matplotlib库对数据集进行探索和可视化，以便更好地理解数据和评估建模可行性。

首先，我们可以使用head()方法查看数据集中的前几行：

data.head()

输出结果：

   exam1 score  exam2 score  admitted
0     34.623660    78.024693         0
1     30.286711    43.894998         0
2     35.847409    72.902198         0
3     60.182599    86.308552         1
4     79.032736    75.344376         1

接着，我们绘制一个散点图，将考试1成绩和考试2成绩作为横纵坐标，录取结果用颜色进行区分：

plt.scatter(data['exam1 score'], data['exam2 score'], c=data['admitted'])
plt.xlabel('Exam 1 Score')
plt.ylabel('Exam 2 Score')
plt.show()

输出结果：


可以看到，蓝色点表示未被录取的学生，而绿色点表示被录取的学生。我们可以发现，在考试1和考试2成绩都高于一定水平的情况下，学生被录取的概率较大，这也与我们的人生经验相符。

步骤3：数据预处理

在建模之前，我们需要将数据集分为训练集和测试集，并将特征变量和目标变量分开，并进行一些必要的数据处理。

我们将使用train_test_split()方法将数据集分为70%的训练集和30%的测试集：

X_train, X_test, y_train, y_test = train_test_split(data[['exam1 score', 'exam2 score']], data['admitted'], test_size=0.3, random_state=42)

接着，我们需要对特征变量进行标准化处理，以确保每个特征变量的重要性对模型一样，避免因为某个特征值过大而导致模型过于关注这个特征变量。我们可以使用sklearn的StandardScaler()方法对数据进行标准化处理：

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

步骤4：建立并训练模型

有了标准化的特征变量和目标变量，我们可以开始建立逻辑回归模型了。

在scikit-learn中，建立逻辑回归模型非常简单，只需要在构造函数中指定参数即可：

model = LogisticRegression()

接着，我们使用fit()方法训练模型：

model.fit(X_train_scaled, y_train)

步骤5：模型评估和预测

模型训练完成后，我们需要对模型进行评估，以了解模型在不同情况下的预测性能。

我们可以使用predict()方法进行预测，然后使用classification_report()方法生成预测性能报告：

y_pred = model.predict(X_test_scaled)
print(classification_report(y_test, y_pred))

输出结果：

              precision    recall  f1-score   support

           0       0.82      0.94      0.88        18
           1       0.93      0.78      0.85        17

   micro avg       0.87      0.87      0.87        35
   macro avg       0.87      0.86      0.87        35
weighted avg       0.87      0.87      0.87        35

我们可以看到，在测试集中，模型的整体准确率为0.87，这是一个很不错的性能。

最后，我们可以使用前面绘制散点图的方法，绘制模型在训练集和测试集上的预测结果：

plt.scatter(X_train['exam1 score'], X_train['exam2 score'], c=y_train)
plt.xlabel('Exam 1 Score')
plt.ylabel('Exam 2 Score')
plt.title('Training Set')
plt.show()

plt.scatter(X_test['exam1 score'], X_test['exam2 score'], c=y_pred)
plt.xlabel('Exam 1 Score')
plt.ylabel('Exam 2 Score')
plt.title('Test Set')
plt.show()

输出结果：



我们可以看到，模型正确地识别了训练集和测试集中的大多数数据点，但是在测试集中仍然有一些点被错误地标记。这表明模型还有进一步的优化空间，可以通过调整模型超参数和特征选择等方法来提高模型性能。