逻辑回归中的似然函数

在逻辑回归中，似然函数是用来衡量一组观测数据的概率模型的好坏程度。它基于伯努利分布，因为逻辑回归通常用于预测二分类问题，如疾病发生与否、邮件是否垃圾邮件等。对于每个样本点 \( (x_i, y_i) \)，其中 \( x_i \) 是输入特征向量，\( y_i \) 是对应的标签（0 或 1），逻辑回归假设 \( y_i \) 的概率 \( P(y_i = 1 | x_i; \theta) \) 可由线性模型给出，即：

\[ P(y_i = 1 | x_i; \theta) = \frac{1}{1 + e^{-\theta_0 - \theta^T x_i}} \]

这里的 \( \theta \) 是模型参数，\( \theta_0 \) 称为截距项。

似然函数 L 定义为所有样本的联合概率，即：

\[ L(\theta) = \prod_{i=1}^{n} P(y_i|x_i; \theta)^{y_i}(1-P(y_i|x_i; \theta))^{(1-y_i)} \]

优化这个似然函数的目标是找到模型参数 \( \theta \)，使得模型对训练数据拟合度最高。通常采用最大似然估计或梯度下降等优化算法来求解。