L(β) = -log(∏(Φ(β^T x_i)^{y_i}(1-Φ(β^T x_i))^{1-y_i}))求其对 β的一阶导函数
时间: 2024-03-31 07:34:53 浏览: 151
为了方便表示,我们令:
- Φ(z) 表示标准正态分布的累积分布函数,即 Φ(z) = P(Z ≤ z),其中 Z 是标准正态分布随机变量;
- x_i 是长度为 p 的实数向量,其中第 j 个元素为 x_{ij};
- y_i 是二元分类的响应变量,取值为 0 或 1;
- β 是长度为 p 的实数向量。
我们的目标是求 L(β) 对 β 的一阶导数,即:
∇L(β) = (∂L(β)/∂β_1, ∂L(β)/∂β_2, ..., ∂L(β)/∂β_p)^T
其中 ∂L(β)/∂β_j 表示 L(β) 对 β_j 的偏导数。
为了方便计算,我们先对 L(β) 取负对数,得到:
-neglogL(β) = -log(∏(Φ(β^T x_i)^{y_i}(1-Φ(β^T x_i))^{1-y_i})) = -∑(y_i log(Φ(β^T x_i)) + (1-y_i) log(1-Φ(β^T x_i)))
其中 ∑ 是对 i 的求和。
现在我们对 neglogL(β) 求 β_j 的偏导数,有:
∂(neglogL(β))/∂β_j = -∑(y_i (1-Φ(β^T x_i)) x_{ij} - (1-y_i) Φ(β^T x_i) x_{ij})
其中 ∑ 是对 i 的求和。
因此,L(β) 对 β 的一阶导数为:
∇L(β) = (-∑(y_i (1-Φ(β^T x_i)) x_{i1} - (1-y_i) Φ(β^T x_i) x_{i1}), ..., -∑(y_i (1-Φ(β^T x_i)) x_{ip} - (1-y_i) Φ(β^T x_i) x_{ip}))^T
其中 ∑ 是对 i 的求和,Φ(z) 表示标准正态分布的累积分布函数,x_{ij} 表示第 i 个样本的第 j 个特征值,y_i 是第 i 个样本的响应变量。
阅读全文