SAM大模型encoder

### SAM 大模型编码器架构与实现细节

SAM (Segment Anything Model) 的编码器部分专注于处理输入图像并提取特征表示，这些表示随后用于指导实例分割任务。ViT Huge作为骨干网络被采用，在实验中除非特别说明均使用此配置[^1]。

#### 编码器结构概述

SAM 使用基于 Vision Transformer (ViT) 的架构来构建其编码器。具体来说：

- **多层感知机(MLP)** 和自注意力机制共同作用于每个多头自注意模块内；
- 输入图片经过分片(patchify)，转换成一系列扁平化的向量序列；
- 这些向量通过位置嵌入(position embedding)增强空间信息；
- 整体流程遵循标准Transformer模式——交替堆叠多个包含自注意力和前馈神经网络的子层；

class Encoder(nn.Module):
    def __init__(self, depth=24, num_heads=16, embed_dim=1280):
        super().__init__()
        self.patch_embed = PatchEmbedding()
        self.pos_embed = nn.Parameter(torch.zeros(1, 197, embed_dim))
        self.blocks = nn.Sequential(*[
            Block(dim=embed_dim, heads=num_heads)
            for _ in range(depth)])

    def forward(self, x):
        B = x.shape[0]
        x = self.patch_embed(x) + self.pos_embed[:, :x.size(1)]
        x = self.blocks(x)
        return x

上述代码展示了简化版的 ViT-Huge 骨干网路中的编码器组件定义方式。实际应用时会更加复杂，并且参数设置也会有所不同以适应特定需求。

对于 SAM 而言，选择如此庞大的预训练模型是因为它能够提供强大的泛化能力以及丰富的语义理解力，这对于高质量完成遥感影像实例分割至关重要。