卷积层的数学公式和非线性激活函数的数学公式

卷积层的数学公式可以表示为：$$
\boldsymbol{y}_{i, j, k}=\sum_{l=1}^{L} \sum_{m=1}^{M} \sum_{n=1}^{N} \boldsymbol{w}_{l, m, n, k} \cdot \boldsymbol{x}_{i+l-1, j+m-1, n}
$$
其中，$\boldsymbol{x}$ 表示输入的特征图，$\boldsymbol{w}$ 表示卷积核，$L,M,N$ 表示卷积核的长、宽、深度，$k$ 表示输出的通道数，$i,j$ 分别表示当前卷积窗口的在输入特征图中的位置。

非线性激活函数的数学公式有很多种，其中比较常见的有 Sigmoid 函数和 ReLU 函数：

Sigmoid 函数公式：$$
\sigma(x)=\frac{1}{1+e^{-x}}
$$

ReLU 函数公式：$$
\text{ReLU}(x)=\max(0,x)
$$

其中，$x$ 表示输入的值。

相关问题

深度残差网络运用的数学公式，用看得懂的数学公式

深度残差网络的表达式如下：

设输入为 x，输出为 H(x)，则深度残差网络的表达式为：

H（x）=F（x）+x

其中 F（x）是一个非线性变换，通常是由多个卷积层、激活函数、归一化层（如BN层）等组成的复杂函数。

深度残差网络通过引入残差连接，使得网络可以更容易的学习到恒等映射，即 H（x）=x，从而避免了深度网络训练中出现的梯度消失或梯度爆炸等问题。

具体来说，深度残差网络可以表示为：

H（x）=F（x）+x

其中 F（x）表示一组非线性变换，可以表示为：

F（x）=W2σ（W1x+b1）+b2

其中 W1、W2、b1、b2 表示网络的参数，σ 表示激活函数（如 ReLU、LeakyReLU、ELU 等）。