YOLOv5的neck使用BiFPN的公式推导

YOv5使用的neck是BiFPN（Bi-Directional Feature Pyramid Network），它是一种结合了特征金字塔和双向特征传播的神经网络结构。BiFPN主要由以下几个步骤组成：

1. 首先，输入特征图被分为多个层级，每个层级包含不同大小和分辨率的特征图。

2. 接下来，根据特征图的尺度大小和分辨率，计算每个特征图的权重，以便后续的特征融合。

3. 对于每个尺度的特征图，进行上采样和下采样操作，以使它们具有相同的分辨率。在这个过程中，双向特征传播的思想被应用，即从高分辨率的特征图向低分辨率的特征图传播，同时也从低分辨率的特征图向高分辨率的特征图传播。

4. 对于每个尺度的特征图，进行特征融合操作。这里使用的是类似于特征金字塔网络中的特征融合方式，即对于每个尺度的特征图，将其与相邻的两个尺度的特征图进行融合。

5. 最后，通过一个简单的卷积层将所有尺度的特征图融合在一起，得到最终的特征表示。

下面是BiFPN的公式推导：

假设我们有一组特征图 $\{P_3, P_4, P_5, P_6, P_7\}$，其中 $P_3$ 表示分辨率最低的特征图，$P_7$ 表示分辨率最高的特征图。为了方便计算，先将这些特征图都进行上采样操作，使得它们具有相同的分辨率 $H \times W$。然后对于每个尺度的特征图，计算其权重 $w_i$，以便后续的特征融合。具体地，权重的计算方式如下：

$$w_i = \frac{1}{N} \sum_{j=1}^{N}\frac{P_{i,j}}{\sum_{k=1}^{N}P_{k,j}}, i=3,\ldots,7$$

其中，$P_{i,j}$ 表示第 $i$ 个尺度上的第 $j$ 个像素点的值，$N$ 是特征图的通道数。

接下来，我们需要对每个尺度的特征图进行双向特征传播。具体地，对于每个尺度 $i$，我们计算其向上和向下传播的特征图 $U_i$ 和 $D_i$，分别定义为：

$$U_i = \begin{cases} P_i & i=7 \\ \mathrm{Upsample}(U_{i+1}) + w_{i+1} \cdot P_i & i=3,\ldots,6 \end{cases}$$

$$D_i = \begin{cases} P_i & i=3 \\ \mathrm{Downsample}(D_{i-1}) + w_{i-1} \cdot P_i & i=4,\ldots,7 \end{cases}$$

其中，$\mathrm{Upsample}$ 和 $\mathrm{Downsample}$ 分别表示上采样和下采样操作。

接下来，我们对每个尺度的特征图进行特征融合。具体地，对于每个尺度 $i$，我们将其与相邻的两个尺度的特征图进行融合，分别得到融合后的特征图 $M_i^+$ 和 $M_i^-$，定义为：

$$M_i^+ = U_i + w_i \cdot P_i + w_i \cdot \mathrm{Upsample}(M_{i+1}^+)$$

$$M_i^- = D_i + w_i \cdot P_i + w_i \cdot \mathrm{Downsample}(M_{i-1}^-)$$

最后，我们将所有尺度的特征图融合在一起，得到最终的特征表示 $F$，定义为：

$$F = \mathrm{Conv}(\mathrm{Concat}(M_3^-, P_4, M_4^+, P_5, M_5^+, P_6, M_6^+, P_7))$$

其中，$\mathrm{Concat}$ 表示特征图的拼接操作，$\mathrm{Conv}$ 表示一个简单的卷积层。