西南交大机器学习实验3：逻辑回归模型构建与性能评估

本实验是西南交通大学机器学习课程中的第三个实践项目，主要聚焦于逻辑回归模型的理解和应用。实验目的是让学生通过实际操作掌握逻辑回归的基本原理、模型构建方法，并学会如何对分类问题进行预测，以及如何评估模型在分类任务中的性能。学生需要使用Python编程语言，配合numpy和matplotlib库进行实验。 实验的核心内容包括以下几个步骤： 1. **数据预处理**：首先从两个CSV文件（'experiment_03_training_set.csv'和'experiment_03_testing_set.csv'）中读取训练集和测试集的数据。数据集包含特征和对应的类别标签，为了适应逻辑回归模型，需要在输入特征矩阵（X）中添加一列常数项（通常是全1的列），以便于偏置项的处理。 2. **逻辑回归模型**：实现sigmoid激活函数，用于计算给定输入（x）和权重向量（w）的预测概率。sigmoid函数是逻辑回归的核心，它将线性组合的结果映射到0到1之间，便于解释为分类的概率。 3. **损失函数**：使用交叉熵作为损失函数，它衡量模型预测结果与真实标签之间的差异。损失函数计算的是所有样本的平均损失，有助于优化算法寻找最小化预测误差的方向。 4. **梯度计算**：为了优化模型参数（权重），需要计算损失函数关于权重的梯度。这个函数返回的是根据当前预测结果和真实标签计算出的梯度值，用于后续的梯度下降或类似优化算法。 5. **模型初始化**：设置一个初始的权重向量（w），通常为零向量，用于开始模型训练。 6. **模型训练与性能评估**：利用训练数据集执行逻辑回归模型的训练，通过迭代更新权重来最小化损失函数。训练完成后，使用混淆矩阵、错误率、精度、查全率、查准率和F1分数等指标来评估模型在测试集上的性能。这些指标帮助理解模型在分类问题上的准确性和效率。 实验要求学生编写并提交包含关键代码、中文注释和必要说明的完整实验报告。这不仅锻炼了他们的编程能力，还提升了他们对逻辑回归模型在实际问题中应用的理解，以及如何通过模型评估来优化模型性能的能力。整个过程强调理论与实践相结合，强化了机器学习基础。