简述逻辑回归算法及其公式

逻辑回归是一种经典的分类算法，常用于二分类问题。其基本思想是通过某些特征的线性组合来描述样本属于某个类别的概率，并将该概率映射到[0,1]区间内，表示样本属于该类别的概率。

逻辑回归的公式如下：

$$h_{\theta}(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}$$

其中，$h_{\theta}(x)$表示样本$x$属于正类的概率，$g(z)$表示sigmoid函数，$\theta$表示模型的参数向量，$x$表示样本的特征向量。

在训练过程中，我们通过极大似然估计来求解模型的参数。具体来说，假设我们有$n$个训练样本$(x^{(1)},y^{(1)}),\cdots,(x^{(n)},y^{(n)})$，其中$x^{(i)}$为第$i$个样本的特征向量，$y^{(i)}\in\{0,1\}$为标签。我们定义似然函数为：

$$L(\theta)=\prod_{i=1}^{n}h_{\theta}(x^{(i)})^{y^{(i)}}(1-h_{\theta}(x^{(i)}))^{1-y^{(i)}}$$

我们的目标是最大化似然函数，即：

$$\max_{\theta}L(\theta)$$

为了方便求解，我们通常对似然函数取对数，得到对数似然函数：

$$\ell(\theta)=\sum_{i=1}^{n}\left[y^{(i)}\log h_{\theta}(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta}(x^{(i)}))\right]$$

我们的目标变为最大化对数似然函数：

$$\max_{\theta}\ell(\theta)$$

我们可以使用梯度下降等优化算法来求解模型的参数。