对数几率回归的代价函数

对数几率回归（Logistic Regression）的代价函数通常使用交叉熵（Cross Entropy）作为代价函数。对于二分类问题，其代价函数可表示为：

$$J(\theta)=-\frac{1}{m}\sum_{i=1}^{m}[y^{(i)}\log(h_\theta(x^{(i)}))+(1-y^{(i)})\log(1-h_\theta(x^{(i)}))]$$

其中，$m$ 表示训练样本数，$x^{(i)}$ 表示第 $i$ 个训练样本的特征，$y^{(i)}$ 表示第 $i$ 个训练样本的真实标签（0 或 1），$h_\theta(x^{(i)})$ 表示使用参数 $\theta$ 计算得到的第 $i$ 个训练样本为正例的概率，即：

$$h_\theta(x^{(i)})=\frac{1}{1+e^{-\theta^Tx^{(i)}}}$$

交叉熵代价函数的实际意义是：当预测值与真实值越接近时，交叉熵的值越小，反之亦然。因此，使用交叉熵作为代价函数可以有效地评估模型的预测效果，并且可以使用梯度下降等优化算法来最小化代价函数，从而求得最优的参数 $\theta$。