多项式逻辑回归公式推导

多项式逻辑回归是逻辑回归的一种扩展，它允许非线性关系建模。公式推导过程如下：

假设我们有一个二分类问题，输入特征为 x，输出为 y，我们想要建立一个多项式逻辑回归模型。

1. 首先，我们假设存在一个函数 h(x)，该函数可以将输入特征 x 映射到一个连续的实数域上。这个函数 h(x) 通常被称为决策函数或者假设函数。

2. 定义 sigmoid 函数 g(z) = 1 / (1 + e^(-z))，其中 z 是一个实数。sigmoid 函数的值域在 (0, 1) 之间。

3. 对于二分类问题，我们可以将输出 y 理解为在类别 1 的概率，即 P(y = 1 | x)。因此，我们可以将决策函数 h(x) 的输出通过 sigmoid 函数进行映射，得到 P(y = 1 | x)。

4. 假设我们想要建立一个 k 阶的多项式逻辑回归模型，我们可以将输入特征 x 按照多项式的形式进行扩展。例如，当 k = 2 时，我们可以构造出以下特征组合：[1, x, x^2]。

5. 假设我们有 m 组训练样本，每个样本的特征表示为 x^(i) = [1, x^(i), (x^(i))^2, ..., (x^(i))^k]，其中 i 表示第 i 组训练样本。

6. 我们可以通过最大似然估计来求解模型参数。假设我们的训练集标签为 y^(i)，我们可以定义似然函数 L(θ) = ∏(i=1->m) P(y^(i) | x^(i); θ)，其中 θ 表示模型的参数。

7. 对于二分类问题，似然函数可以写成 L(θ) = ∏(i=1->m) (g(θ^T * x^(i)))^(y^(i)) * (1 - g(θ^T * x^(i)))^(1 - y^(i))。

8. 我们的目标是最大化似然函数，即求解使得 L(θ) 最大化的参数 θ。通常我们会使用梯度下降等优化算法来求解最优参数。

以上就是多项式逻辑回归公式推导的基本过程。通过将输入特征进行多项式扩展，我们可以更灵活地建模非线性关系。