卷积神经网络使用到的公式

卷积神经网络常用的公式包括卷积公式、池化公式、批量归一化公式、激活函数公式等。

卷积公式：

输出 = 输入 * 卷积核 + 偏置项

池化公式：

池化层常用的操作有最大池化和平均池化。

最大池化：输出 = max(输入)

平均池化：输出 = sum(输入)/count(输入)

批量归一化公式：

批量归一化常用的公式有两个：

输出 = (输入 - mean(输入)) / sqrt(variance(输入) + ε)

输出 = γ * (输入 - mean(输入)) / sqrt(variance(输入) + ε) + β

其中，γ和β是批量归一化层的两个可学习的参数，ε是一个很小的数，用来确保方差的平方根不为0。

激活函数公式：

常用的激活函数有sigmoid、tanh、ReLU、Leaky ReLU、PReLU、ELU等。

sigmoid函数：输出 = 1 / (1 + exp(-输入))

tanh函数：输出 = (exp(输入) - exp(-输入)) / (exp(输入) + exp(-输入))

ReLU函数：输出 = max(0, 输入)

Leaky ReLU函数：输出 = max(0.01 * 输入, 输入)

PReLU函数：输出 = max(α * 输入, 输入)

ELU函数：输出 = max(0, 输入) + min(0, α * (exp(输入) - 1))

其中，α是一