机器学习Lab2实验报告-逻辑回归与参数估计

"该资源是一份关于机器学习课程的Lab2实验报告，由许健同学完成，主要探讨了逻辑回归模型及其参数估计方法，包括无惩罚项和加入参数惩罚的损失函数实现。实验要求使用梯度下降、共轭梯度或牛顿法进行参数估计，并通过实际数据验证算法效果，特别是在广告预测领域的应用。实验环境为Windows10，Python3.8.5和Jupyter Notebook。" 实验报告详细内容： 在机器学习中，逻辑回归是一种广泛使用的二分类模型，它通过将线性回归的结果映射到(0,1)之间，形成一个概率预测。在这个实验中，许健同学首先介绍了逻辑回归的基本概念和目的，即理解模型并掌握其参数估计算法。 实验要求参与者实现两种损失函数的参数估计：一种是没有惩罚项的损失函数，另一种是加入L2正则化的惩罚项。这有助于防止模型过拟合，提高泛化能力。为了实现这些损失函数，可以采用梯度下降、共轭梯度或牛顿法等优化算法。 在验证阶段，许健同学建议生成两类模拟数据，这些数据可以基于高斯分布生成，以检验算法的效果。当类条件分布不满足朴素贝叶斯假设时，可以看到模型的表现。此外，他还提到逻辑回归在实际中的应用，如广告点击率预测，可以通过从UCI数据集获取真实数据进行测试。 实验原理部分，逻辑回归的核心是通过极大似然估计来计算损失函数。在二分类问题中，假设类条件概率服从正态分布且方差与特征无关。通过最大化条件似然来求解损失函数，然后使用梯度下降法更新参数。为了防止在大数据集上出现数值溢出的问题，实验中对损失函数进行了归一化处理，并在损失函数中加入了正则化项（L2惩罚）以控制模型复杂度。 在给出的代码片段中，`loss`函数用于计算归一化后的损失，而`gradient_descent`函数则实现了梯度下降法，用于寻找损失函数的最小值，从而估计模型参数。实验过程中，可以通过调整学习率（eta）、正则化参数（lamda）以及迭代次数（times）来优化模型性能。 这个实验报告不仅涵盖了理论知识，还提供了实际操作的代码示例，是学习和实践逻辑回归模型的一个良好参考资料。