Logistic回归模型的参数估计方法
时间: 2023-06-18 08:04:26 浏览: 119
Logistic回归参数的估计通常采用最大似然法PPT教案学习.pptx
Logistic回归模型的参数估计方法一般使用最大似然估计(Maximum Likelihood Estimation, MLE)方法。
首先,我们需要定义似然函数。对于二分类问题,假设样本的标签为 $y_i\in \{0,1\}$,且输入特征为 $x_i$,则在 Logistic 回归中,我们假设 $y_i$ 服从 Bernoulli 分布,即:
$$p(y_i=1|x_i, \boldsymbol{\theta}) = \sigma(\boldsymbol{\theta}^Tx_i)$$
$$p(y_i=0|x_i, \boldsymbol{\theta}) = 1 - \sigma(\boldsymbol{\theta}^Tx_i)$$
其中,$\sigma$ 表示 sigmoid 函数,$\boldsymbol{\theta}$ 是待求的参数向量。
对于一个样本 $(x_i, y_i)$,其似然函数为:
$$L(\boldsymbol{\theta}; x_i, y_i) = p(y_i|x_i, \boldsymbol{\theta}) = [\sigma(\boldsymbol{\theta}^Tx_i)]^{y_i}[1-\sigma(\boldsymbol{\theta}^Tx_i)]^{1-y_i}$$
对于整个数据集,其似然函数为:
$$L(\boldsymbol{\theta}; X, Y) = \prod_{i=1}^{m}[\sigma(\boldsymbol{\theta}^Tx_i)]^{y_i}[1-\sigma(\boldsymbol{\theta}^Tx_i)]^{1-y_i}$$
为了方便求解,通常将似然函数取对数,得到对数似然函数:
$$\begin{aligned} \log L(\boldsymbol{\theta}; X, Y) &= \sum_{i=1}^{m} \left[ y_i \log \sigma(\boldsymbol{\theta}^Tx_i) + (1-y_i) \log (1-\sigma(\boldsymbol{\theta}^Tx_i)) \right] \\ &= \sum_{i=1}^{m} \left[ y_i \boldsymbol{\theta}^Tx_i - \log(1+e^{\boldsymbol{\theta}^Tx_i}) \right] \end{aligned}$$
我们的目标是最大化对数似然函数,即:
$$\boldsymbol{\theta}^* = \arg\max_{\boldsymbol{\theta}} L(\boldsymbol{\theta}; X, Y)$$
对数似然函数在 $\boldsymbol{\theta}$ 上是凸函数,因此可以使用梯度上升算法或牛顿法等方法进行求解。
阅读全文