机器学习报告二：逻辑回归参数估计算法及应用分析

逻辑回归是一种经典的分类算法，它通过将线性回归模型的输出通过一个sigmoid函数转化为概率，从而进行分类。本实验的主要目的是理解逻辑回归模型，并掌握逻辑回归模型的参数估计算法。 在本实验中，我们需要实现两种损失函数的参数估计：一种是没有惩罚项的损失函数，另一种是加入了对参数的惩罚的损失函数。为了实现参数估计，我们可采用梯度下降、共轭梯度或者牛顿法等方法。 为了验证我们实现的算法，我们可以手工生成两个不同类别的数据集，例如可以用高斯分布生成。通过使用这些数据集，我们可以验证我们实现的逻辑回归算法在不同类别分布下的分类效果，并观察类条件分布不满足朴素贝叶斯假设时的结果。 逻辑回归具有广泛的应用，其中之一是广告预测。我们可以从UCI网站上获取一份实际的广告数据集，用这个数据集来测试我们的算法。通过对这些实际数据的测试，我们可以评估我们的逻辑回归算法在真实场景下的性能表现。 本实验的开发环境采用PyCharm 2020.3.2 x64，Python 3.8，以及numpy 1.20.3和matplotlib 3.4.2库。 在实验中，我们基于一般的假设条件推导出了逻辑回归模型的后验概率表达式。对于类别𝐶1的后验概率P(𝐶1|∅)，我们通过作用在特征向量∅上的线性函数𝑤𝑇∅将其转化为logistics sigmoid函数的形式，即P(𝐶1|∅) = y(∅) = σ(𝑤𝑇∅)。 因此，我们的逻辑回归模型的核心思想是通过学习参数𝑤，将特征向量∅映射为类别概率，进而进行分类。为了学习参数𝑤，我们需要定义损失函数，并通过优化算法对损失函数进行最小化。 在本实验中，我们需要实现两种损失函数的优化。一种是没有惩罚项的损失函数，可以采用梯度下降、共轭梯度或者牛顿法等进行参数估计。另一种是加入对参数的惩罚的损失函数，同样可以采用上述的优化算法进行参数估计。 通过实验，我们可以验证我们实现的逻辑回归算法在手工生成的数据集以及真实广告数据集上的性能。同时，我们还可以观察到当类条件分布不满足朴素贝叶斯假设时，我们的算法会得到什么样的结果。 总之，本实验通过实现逻辑回归模型的参数估计算法，并进行手工生成数据集和真实广告数据集的测试，旨在更深入地理解逻辑回归算法的原理和应用。通过实验的设计和实现，我们能够更好地掌握逻辑回归算法，并为将来的机器学习任务打下坚实的基础。