bifpn加入权重归一化

### 权重归一化在BiFPN中的实现

在BiFPN中，权重归一化的应用主要体现在不同尺度特征图之间的加权融合过程中。这种机制允许网络动态调整各路径的重要性，从而增强模型的学习能力和泛化性能[^3]。

对于来自多个输入源的特征图，在进行逐元素相加之前，先赋予每个输入一个可学习的权重参数\(w_i\)。这些权重随后被L1范数归一化处理：

\[ w'_i = \frac{|w_i|}{\sum_j |w_j|} \]

这样做的目的是确保所有路径贡献之和保持恒定，防止某些特定路径主导整个计算过程。经过归一化后的权重用于加权求和操作，得到最终的输出特征图。

#### Python代码示例

下面是一个简单的PyTorch实现片段，展示了如何在一个简化版的BiFPN模块内执行上述提到的权重归一化步骤：

import torch.nn as nn
import torch

class WeightedFeatureFusion(nn.Module):
    def __init__(self, channels_list=[256], eps=0.0001):
        super(WeightedFeatureFusion, self).__init__()
        # 初始化每条路径对应的权重向量
        self.weights = nn.Parameter(torch.ones(len(channels_list), dtype=torch.float))
        self.eps = eps
    
    def forward(self, features):
        norm_weights = abs(self.weights) / (abs(self.weights).sum() + self.eps)
        
        fused_feature = sum([norm_weights[i]*feature for i, feature in enumerate(features)])
        return fused_feature

此代码定义了一个`WeightedFeatureFusion`类，它接收一组具有相同通道数量的不同分辨率特征映射作为输入，并返回它们按比例混合的结果。注意这里使用绝对值函数来保证权重始终是非负的，同时加入了极小常数值以避免除零错误的发生。