DNN算法中二分类交叉熵损失函数和Adam 优化器

二分类交叉熵损失函数和Adam 优化器是DNN算法中常用的损失函数和优化器。

1. 二分类交叉熵损失函数：二分类交叉熵损失函数主要用于二分类问题，通过比较模型输出的概率分布和真实标签的概率分布来计算损失。其数学表达式为：$J=-\frac{1}{m}\sum_{i=1}^m(y_i\log(\hat{y_i})+(1-y_i)\log(1-\hat{y_i}))$，其中 $m$ 是样本数，$y_i$ 是真实标签，$\hat{y_i}$ 是模型输出的概率值。

2. Adam 优化器：Adam 优化器是一种自适应学习率优化算法，可以针对不同的梯度进行不同程度的更新，从而提高训练效率。Adam 优化器的核心思想是维护两个指数移动平均数，分别表示梯度的一阶矩和二阶矩，通过对它们进行加权平均来计算学习率。Adam 优化器的公式为：$g_t=\nabla_{\theta}{J(\theta_{t-1})}$，$m_t=\beta_1m_{t-1}+(1-\beta_1)g_t$，$v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2$，$\hat{m_t}=\frac{m_t}{1-\beta_1^t}$，$\hat{v_t}=\frac{v_t}{1-\beta_2^t}$，$\theta_t=\theta_{t-1}-\alpha\frac{\hat{m_t}}{\sqrt{\hat{v_t}}+\epsilon}$，其中 $g_t$ 是当前梯度，$m_t$ 和 $v_t$ 分别是梯度的一阶矩和二阶矩，$\hat{m_t}$ 和 $\hat{v_t}$ 是对 $m_t$ 和 $v_t$ 进行修正后的估计值，$\alpha$ 是学习率，$\beta_1$ 和 $\beta_2$ 是两个衰减率，$\epsilon$ 是一个非常小的常数，防止分母为零。