逻辑回归详解：代价函数与正则化

逻辑回归是一种经典的监督学习算法，主要用于解决二分类问题，但也可以通过编码扩展到多分类问题。它基于概率论的贝叶斯定理，通过构建一个线性模型来预测输入数据属于某个类别的概率。 **形式化定义** 逻辑回归的核心是通过假设函数（sigmoid函数）将线性组合的结果映射到[0,1]之间，表示样本属于正类的概率。假设函数通常定义为： \[ \hat{p}(y=1|x) = \frac{1}{1 + e^{-\theta^T x}} \] 其中，$\theta$ 是模型参数向量，$x$ 是特征向量，$e$ 是自然对数的底数。 **交叉熵损失函数** 为了衡量模型预测概率与真实标签之间的差异，逻辑回归使用的是交叉熵损失函数。对于二分类问题，单个样本的损失函数计算如下： \[ L_i = -y_i \log(\hat{p}(y_i|x_i)) - (1 - y_i) \log(1 - \hat{p}(y_i|x_i)) \] **代价函数与梯度下降** 总损失函数是所有样本损失的平均值加上正则化项（如L2正则化），以防止过拟合。代价函数一般写作： \[ J(\theta) = -\frac{1}{m} \sum_{i=1}^{m} [y_i \log(\hat{p}(y_i|x_i)) + (1 - y_i) \log(1 - \hat{p}(y_i|x_i))] + \frac{\lambda}{2m} \sum_{j=1}^{n}\theta_j^2 \] 梯度下降法用于优化这个函数，计算代价函数关于$\theta$的梯度并更新参数： \[ \theta_j := \theta_j - \alpha \cdot \frac{1}{m} \sum_{i=1}^{m} [y_i - \hat{p}(y_i|x_i)] x_{ij} + \frac{\lambda}{m} \theta_j \] **正则化** 逻辑回归的正则化有助于减少过拟合，通过在代价函数中加入惩罚项，使得模型更倾向于找到一个更简单的参数组合。上述梯度更新公式中，$\alpha$ 是学习率，$\lambda$ 是正则化强度。 **多分类扩展** 逻辑回归在多分类问题中通常采用softmax函数进行多输出预测。首先，对每个类别分别进行逻辑回归，然后通过解码过程（如Viterbi算法或最大似然估计）确定最终的分类。这种方法的优点在于，如果原始数据无偏，拆分后的分类器也保持一致性。 **指数族与GLM** 逻辑回归是广义线性模型（Generalized Linear Model, GLM）的一种，其迭代公式适用于指数族分布的随机变量，如伯努利分布和高斯分布。这些分布都满足指数函数的链接关系，使得逻辑回归能够处理不同类型的连续性和离散性数据。 **特征选择** 特征选择是提高模型性能的关键步骤，逻辑回归也不例外。常用的方法包括随机森林（评估特征重要性）、主成分分析（PCA，减少维度）、线性判别分析（LDA，降维并保持类间差异）等。 **总结** 逻辑回归以其简单易懂和广泛适用性受到青睐。尽管它在训练集有偏或者样本数量较大时可能效率不高，但在处理相对较小的数据集和避免过拟合方面表现出色。对于分类问题，尤其是当数据满足指数族分布时，逻辑回归是首选的建模工具之一。同时，合理的特征选择策略是提升模型性能的关键手段。