深度残差网络运用的数学公式
时间: 2024-03-31 22:23:09 浏览: 14
深度残差网络(ResNet)是一种深度学习网络模型,它通过使用残差块(Residual Block)来训练非常深的神经网络。下面是ResNet中使用的一些数学公式:
1. 残差块的输入输出:
$$\text{output} = \text{input} + \mathcal{F}(\text{input})$$
其中,$\text{input}$为残差块的输入,$\text{output}$为残差块的输出,$\mathcal{F}$表示残差块内的变换(transform),通常是由卷积、批归一化、激活函数等操作组成的。
2. 残差块中的变换:
$$\text{output} = \text{ReLU}(\text{BN}(W_2\text{ReLU}(\text{BN}(W_1\text{input}))))$$
其中,$\text{input}$为残差块的输入,$\text{output}$为残差块的输出,$W_1$和$W_2$是残差块中的两个卷积层,$\text{BN}$表示批归一化操作,$\text{ReLU}$表示整流线性单元激活函数。
3. ResNet中的损失函数:
$$\mathcal{L} = \frac{1}{N}\sum_{i=1}^{N}\text{CE}(y_i,\hat{y}_i) + \lambda\sum_{l=1}^{L}||W_l||_2^2$$
其中,$N$为样本数量,$\text{CE}$为交叉熵损失函数,$y_i$为第$i$个样本的真实标签,$\hat{y}_i$为第$i$个样本的预测标签,$L$为ResNet中的层数,$W_l$为第$l$层的权重参数,$\lambda$为正则化超参数。