yolov7中使用的激活函数

在YOLOv7中使用的激活函数是LeakyReLU（带泄漏的线性整流单元）。这种激活函数是ReLU（线性整流单元）的变体，它在输入为负时引入了一个小的斜率，以解决ReLU可能存在的神经元死亡问题。它的数学表达式为：

f(x) = max(ax, x)

其中，a是一个小的正数，通常取0.1。在YOLOv7中，LeakyReLU被用作各个卷积层的激活函数。

相关问题

yolov7中更换激活函数怎么换

在YOLOv7中更换激活函数可以通过修改models文件夹中的activation.py文件中的代码来实现。

首先，打开activation.py文件，找到要更改的激活函数的定义。例如，如果你想要将YOLOv7中默认的Swish激活函数更改为ReLU激活函数，则可以找到如下代码：

class Swish(nn.Module):
    def __init__(self, *args, **kwargs):
        super(Swish, self).__init__()
    
    def forward(self, x):
        return x * torch.sigmoid(x)

将这段代码更改为以下代码：

class ReLU(nn.Module):
    def __init__(self, *args, **kwargs):
        super(ReLU, self).__init__()
    
    def forward(self, x):
        return F.relu(x)

这里我们定义了一个名为“ReLU”的新类，它继承自nn.Module，实现了一个forward()方法，该方法将输入张量x传递给PyTorch中的F.relu()函数，并返回结果。

接下来，我们需要在YOLOv7模型类中使用这个新的激活函数。打开models/yolo.py文件，找到模型定义的部分。在类的构造函数中，找到对“act”参数的赋值行：

self.act = nn.SiLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())

将其更改为如下代码：

self.act = ReLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())

这里我们将默认的nn.SiLU()激活函数更改为我们刚刚定义的新的ReLU()激活函数。

保存文件并重新运行YOLOv7模型，现在你将会使用新的ReLU激活函数了。

yolov8中的激活函数

在引用[3]中提到的YOLOv5/YOLOv7的utils/activations.py文件中，可以找到并添加想要替换的激活函数。其中，可以使用FReLU激活函数作为替代。FReLU是一种用于图像识别任务的简单但有效的激活函数，通过增加可忽略的空间条件开销将ReLU和PReLU扩展为2D激活函数。它能够在激活函数阶段实现像素级的空间信息建模能力，适用于目标检测、语义分割等目标识别任务。具体的实现代码如下：

class FReLU(nn.Module):
    def __init__(self, c1, k=3): # ch_in, kernel
        super().__init__()
        self.conv = nn.Conv2d(c1, c1, k, 1, 1, groups=c1, bias=False)
        self.bn = nn.BatchNorm2d(c1)
    
    def forward(self, x):
        return torch.max(x, self.bn(self.conv(x)))

通过将上述代码复制粘贴到utils/activations.py文件中，即可在YOLOv8中使用FReLU激活函数。