使用sigmoid函数完成学生成绩预测模型_逻辑回归实战练习——根据学生成绩预测是否被录取

本文将演示如何使用sigmoid函数完成一个简单的学生成绩预测模型，模型的目标是根据学生的两门成绩预测该学生是否被录取。我们将使用逻辑回归算法来训练模型，并使用Python的NumPy库和matplotlib库进行数据处理和可视化。

首先，我们需要导入相应的库和数据集。数据集包含了两门考试的成绩和每个学生是否被录取的信息。

import numpy as np
import matplotlib.pyplot as plt

# 导入数据集
data = np.loadtxt('ex2data1.txt', delimiter=',')
X = data[:, :-1]  # 特征矩阵
y = data[:, -1]  # 目标矩阵

# 将y转换为行向量
y = y.reshape((len(y), 1))

接下来，我们需要对数据进行可视化，看看这些数据的分布情况。我们将根据目标矩阵y的值，将数据点的颜色区分为蓝色和红色，其中蓝色表示未被录取，红色表示已被录取。

# 数据可视化
def plot_data(X, y):
    # 将数据按照分类分别画出
    pos = (y == 1).reshape(len(y))
    neg = (y == 0).reshape(len(y))

    plt.scatter(X[pos, 0], X[pos, 1], marker='+', c='r')
    plt.scatter(X[neg, 0], X[neg, 1], marker='o', c='b')

    plt.xlabel('Exam 1 score')
    plt.ylabel('Exam 2 score')
    plt.legend(['Admitted', 'Not admitted'])
    plt.show()

plot_data(X, y)

在数据可视化完成后，我们可以看到两门成绩的分布情况，以及哪些学生被录取，哪些学生没有被录取。


可以看到，这些数据是线性可分的，我们可以使用逻辑回归算法来训练模型。

逻辑回归算法的核心在于使用sigmoid函数作为模型的预测函数。sigmoid函数可以将任意实数映射到0到1之间的一个值，因此它非常适合用于二分类问题。sigmoid函数的公式为：

$$
g(z) = \frac{1}{1+e^{-z}}
$$

其中$z=w^Tx$，$w$表示权重向量，$x$表示特征向量。

我们可以将逻辑回归算法表示为：

$$
h_\theta (x) = g(\theta^Tx) = \frac{1}{1+e^{-\theta^Tx}}
$$

其中$h_\theta (x)$表示模型的预测值，$\theta$表示模型的参数，具体地，$\theta$是一个列向量，其长度等于特征向量$x$的长度加1，因为我们要让模型可以学习到一个截距参数。

接下来，我们需要定义sigmoid函数和代价函数。代价函数的公式为：

$$
J(\theta) = -\frac{1}{m}\sum_{i=1}^{m}[y^{(i)}log(h_{\theta} (x^{(i)})) + (1-y^{(i)})log(1-h_{\theta} (x^{(i)}))]
$$

其中$m$表示样本数。

# 定义sigmoid函数
def sigmoid(z):
    return 1 / (1 + np.exp(-z))

# 定义代价函数
def cost_function(theta, X, y):
    m = len(y)
    h = sigmoid(X @ theta)
    J = 1 / m * np.sum(-y * np.log(h) - (1 - y) * np.log(1 - h))
    return J

接下来，我们需要初始化模型的参数，然后使用梯度下降算法来最小化代价函数。梯度下降算法的公式为：

$$
\theta_j = \theta_j - \alpha\frac{\partial}{\partial\theta_j}J(\theta)
$$

其中$\alpha$表示学习率，$\frac{\partial}{\partial\theta_j}J(\theta)$表示代价函数对于$\theta_j$的偏导数。

# 初始化参数
m, n = X.shape
X = np.hstack((np.ones((m, 1)), X))  # 增加一列新特征x0，其值恒为1
initial_theta = np.zeros((n + 1, 1))

# 定义梯度下降函数
def gradient_descent(theta, X, y, alpha, num_iters):
    m = len(y)
    J_history = np.zeros((num_iters, 1))

    for i in range(num_iters):
        h = sigmoid(X @ theta)
        theta -= alpha / m * X.T @ (h - y)
        J_history[i] = cost_function(theta, X, y)
        if i % 100 == 0:
            print('Iteration %d | Cost: %f' % (i, J_history[i]))

    return theta, J_history

# 运行梯度下降算法
alpha = 0.01
num_iters = 5000
theta, J_history = gradient_descent(initial_theta, X, y, alpha, num_iters)
print('Theta:', theta)
print('Cost:', J_history[-1])

梯度下降算法执行完毕后，我们可以看到模型的参数$\theta$和代价函数的最终值。

接下来，我们需要绘制代价函数的变化图表，以便我们观察模型的训练过程。

# 绘制代价函数图表
def plot_cost_function(J_history):
    plt.plot(J_history)
    plt.xlabel('Iterations')
    plt.ylabel('Cost')
    plt.title('Cost Function')
    plt.show()

plot_cost_function(J_history)

代价函数随着训练迭代次数的增加而降低，说明模型的训练效果不错。


最后，我们需要绘制决策边界，即将模型的预测结果可视化展示。由于我们训练的模型是一个二分类模型，因此决策边界是一个直线。我们可以通过找到sigmoid函数原点的位置来计算决策边界的斜率和截距。

# 绘制决策边界
def plot_decision_boundary(theta, X, y):
    plot_data(X[:, 1:], y)

    # 计算决策边界
    x_boundary = np.array([np.min(X[:, 1]), np.max(X[:, 1])])
    y_boundary = -(theta[0] + theta[1] * x_boundary) / theta[2]
    plt.plot(x_boundary, y_boundary)

    plt.show()

plot_decision_boundary(theta, X, y)

将决策边界和数据点绘制在同一张图表上，可以清晰地看到哪些学生被录取了，哪些学生没有被录取。


从以上结果可以看出，我们通过sigmoid函数和逻辑回归算法成功地训练了一个学生成绩预测模型，并使用该模型成功地预测了哪些学生会被录取。