在swin transformer biock中添加adapter

在 Swin Transformer 中添加 Adapter 的过程如下：

1. 定义 Adapter

定义一个 Adapter 类，该类包含输入和输出的维度大小以及 Adapter 的前向计算逻辑。例如，一个简单的 Adapter 可以定义如下：

import torch.nn as nn

class Adapter(nn.Module):
    def __init__(self, input_dim, output_dim):
        super(Adapter, self).__init__()
        self.fc = nn.Sequential(
            nn.Linear(input_dim, output_dim),
            nn.ReLU(inplace=True),
            nn.Linear(output_dim, output_dim),
        )

    def forward(self, x):
        return self.fc(x)

在这个例子中，我们定义了一个包含两个线性层和一个 ReLU 激活函数的简单的 Adapter。输入和输出的维度大小分别由 `input_dim` 和 `output_dim` 参数指定。

2. 添加 Adapter 到 Swin Transformer Block

在 Swin Transformer Block 的构造函数中，我们可以添加 Adapter。例如，下面是一个包含 Adapter 的基本 Swin Transformer Block：

import torch.nn as nn

class SwinTransformerBlock(nn.Module):
    def __init__(self, dim, num_heads, window_size, shift_size, mlp_ratio, qkv_bias=False, qk_scale=None, drop=0.,
                 attn_drop=0., drop_path=0., norm_layer=None, input_dim=None, output_dim=None):
        super().__init__()
        self.norm1 = norm_layer(dim)
        self.attn = Attention(
            dim, num_heads=num_heads, qkv_bias=qkv_bias, qk_scale=qk_scale, attn_drop=attn_drop, proj_drop=drop)
        self.drop_path = DropPath(drop_path) if drop_path > 0. else nn.Identity()
        self.norm2 = norm_layer(dim)
        self.mlp = Mlp(in_features=dim, hidden_features=int(dim * mlp_ratio), out_features=dim, act_layer=nn.GELU,
                       drop=drop)

        # Add adapter
        if input_dim is not None and output_dim is not None:
            self.adapter = Adapter(input_dim=input_dim, output_dim=output_dim)
        else:
            self.adapter = None

    def forward(self, x):
        if self.adapter is not None:
            x = x + self.adapter(x)
        x = x + self.drop_path(self.attn(self.norm1(x)))
        x = x + self.drop_path(self.mlp(self.norm2(x)))
        return x

在这个例子中，我们通过 `input_dim` 和 `output_dim` 参数指定了 Adapter 的输入和输出维度大小。在 `forward` 方法中，我们首先应用 Adapter，然后应用注意力机制和 MLP。

3. 多个 Adapter 的情况

如果我们需要添加多个 Adapter，我们可以为每个 Adapter 定义不同的输入和输出维度大小，并将它们添加到 Swin Transformer Block 中。例如，下面是一个包含两个 Adapter 的 Swin Transformer Block：

import torch.nn as nn

class SwinTransformerBlock(nn.Module):
    def __init__(self, dim, num_heads, window_size, shift_size, mlp_ratio, qkv_bias=False, qk_scale=None, drop=0.,
                 attn_drop=0., drop_path=0., norm_layer=None, input_dims=None, output_dims=None):
        super().__init__()
        self.norm1 = norm_layer(dim)
        self.attn = Attention(
            dim, num_heads=num_heads, qkv_bias=qkv_bias, qk_scale=qk_scale, attn_drop=attn_drop, proj_drop=drop)
        self.drop_path = DropPath(drop_path) if drop_path > 0. else nn.Identity()
        self.norm2 = norm_layer(dim)
        self.mlp = Mlp(in_features=dim, hidden_features=int(dim * mlp_ratio), out_features=dim, act_layer=nn.GELU,
                       drop=drop)

        # Add adapters
        self.adapters = nn.ModuleList()
        if input_dims is not None and output_dims is not None:
            for input_dim, output_dim in zip(input_dims, output_dims):
                self.adapters.append(Adapter(input_dim=input_dim, output_dim=output_dim))

    def forward(self, x):
        for adapter in self.adapters:
            x = x + adapter(x)
        x = x + self.drop_path(self.attn(self.norm1(x)))
        x = x + self.drop_path(self.mlp(self.norm2(x)))
        return x

在这个例子中，我们使用列表 `input_dims` 和 `output_dims` 指定每个 Adapter 的输入和输出的维度大小，并将它们添加到 `nn.ModuleList()` 中。在 `forward` 方法中，我们首先应用所有的 Adapter，然后应用注意力机制和 MLP。