transunet模型结构

### TransUNet 模型架构和组成部分

#### 1. Transformer编码器部分
TransUNet采用基于ViT (Vision Transformers) 的编码器作为骨干网络，用于提取图像的全局特征表示。输入图像被划分为多个不重叠的小块(patch)，这些patch通过线性投影转换成向量序列并送入多层Transformer编码器中处理[^1]。

class ViT(nn.Module):
    def __init__(self, img_size=224, patch_size=16, embed_dim=768, depth=12, num_heads=12):
        super().__init__()
        self.patch_embed = PatchEmbed(img_size=img_size, patch_size=patch_size, in_chans=3, embed_dim=embed_dim)
        self.blocks = nn.ModuleList([
            Block(dim=embed_dim, num_heads=num_heads, mlp_ratio=4., qkv_bias=True, drop_path=dpr[i])
            for i in range(depth)])

#### 2. 解码器部分
解码器由一系列卷积模块构成，负责逐步恢复空间分辨率并将低层次的空间细节信息与高层次语义信息相结合。为了更好地融合不同尺度的信息，在跳跃连接处采用了双线性插值方法来进行特征图尺寸匹配[^2]。

def forward(self, x):
    features = []
    # Encoder path
    for layer in self.encoder_layers:
        x = layer(x)
        features.append(x)

    # Decoder path with skip connections
    for idx, decoder_layer in enumerate(self.decoder_layers[::-1]):
        x = F.interpolate(x, scale_factor=2, mode='bilinear', align_corners=False)
        x = torch.cat([x, features[-(idx + 2)]], dim=1)
        x = decoder_layer(x)

#### 3. 跳跃连接(Skip Connection)
类似于传统U-Net的设计理念，TransUNet同样保留了从浅层到深层再到浅层的信息传递路径。具体来说就是将下采样过程中丢失掉的一些边缘轮廓等细粒度特性重新加入到最后预测阶段之前的位置上去，从而提高最终输出的质量。

#### 4. 多尺度监督(Multi-scale Supervision)
除了最顶层外，其他各层也可以施加额外的损失函数项来指导训练过程；这样做不仅有助于加速收敛速度而且还能进一步提升泛化性能。这种策略特别适用于医学影像分析任务当中因为往往存在标注样本稀缺的问题。