滤波器组归一化实现代码

滤波器组归一化（Filter Group Normalization，FGN）是一种针对卷积神经网络（CNN）中卷积层的归一化方法。和批量归一化（Batch Normalization，BN）不同，FGN对每个卷积核的输出进行归一化，而BN是对每个batch的输出进行归一化。以下是一个简单的FGN实现代码：

import torch
import torch.nn as nn
import torch.nn.functional as F

class FGN(nn.Module):
    def __init__(self, num_features, num_groups):
        super(FGN, self).__init__()
        self.num_features = num_features
        self.num_groups = num_groups
        
        self.gamma = nn.Parameter(torch.ones(1, num_features, 1, 1))
        self.beta = nn.Parameter(torch.zeros(1, num_features, 1, 1))
        
    def forward(self, x):
        batch_size, num_channels, height, width = x.size()
        group_size = num_channels // self.num_groups  # 计算每组包含的通道数
        
        x = x.view(batch_size, self.num_groups, group_size, height, width)  # 将通道维度分组
        mean = x.mean(dim=[2, 3, 4], keepdim=True)
        var = x.var(dim=[2, 3, 4], keepdim=True)
        x = (x - mean) / torch.sqrt(var + 1e-5)
        x = x.view(batch_size, num_channels, height, width)
        return self.gamma * x + self.beta  # 缩放和平移
        

在这个实现中，我们定义了一个FGN类，它接受两个参数：num_features和num_groups，分别表示每个卷积核的输出通道数和分组数。在类的构造函数中，我们创建了两个可学习的参数gamma和beta，用于缩放和平移归一化后的输出。

在forward函数中，我们首先将输入x视为一个四维张量，其形状为(batch_size, num_channels, height, width)，其中num_channels为卷积核的输入通道数。我们根据num_groups将num_channels分成了self.num_groups组，计算每组的均值和方差，并对每个通道进行归一化操作。最后，我们将分组后的通道维度还原，将输出形状变为(batch_size, num_channels, height, width)。最后，我们使用可学习的参数gamma和beta对归一化后的输出进行缩放和平移操作，得到最终的输出。