具体推导一下逻辑回归的极大似然估计过程

逻辑回归是一种用于预测二分类问题的线性模型，其目标是找到一个决策边界，最大化数据点落入该边界的概率。极大似然估计（Maximum Likelihood Estimation, MLE）是用来估计模型参数的一种方法，假设数据点是由独立同分布的随机变量生成的。

逻辑回归的极大似然估计过程如下：

1. 假设模型：对于第 i 个观测值 (x_i, y_i)，其中 x_i 是输入特征向量，y_i 是对应的二进制类别（0 或 1），我们假设每个 y_i 都是给定 x_i 的条件下，由伯努利分布生成的，概率为 p_i = P(y_i = 1 | x_i, θ)，这里 θ 是模型参数（例如，直线的斜率和截距）。

2. 似然函数：对于整个数据集，似然函数 L(θ) 是所有数据点概率的乘积：
L(θ) = Π_{i=1}^n [p_i^{y_i} (1-p_i)^{1-y_i}] ，其中 n 是样本数。

3. 极大化似然函数：我们的目标是找到能使似然函数最大的参数 θ。这可以通过求导并令导数等于零来实现。对似然函数关于 θ 求导后，我们得到对数似然函数（log-likelihood），因为求导会简化计算：
log L(θ) = Σ_{i=1}^n [y_i * log(p_i) + (1 - y_i) * log(1 - p_i)]

4. 解方程：将对数似然的导数设置为零，我们得到一个关于 θ 的方程组。对于线性逻辑回归，这个方程通常是一组线性方程，对于多项式逻辑回归则可能是非线性的。解这个方程，我们就得到了极大似然估计的参数值。

5. 最终模型：用求得的参数 θ 替换到预测概率公式 p_i = 1 / (1 + e^-(θ^T * x_i)) 中，就得到了逻辑回归模型用于预测新数据的函数。