DETR中的前馈网络层结构图

DETR (Detected Transformers) 是一种基于Transformer架构的目标检测模型，它显著地改变了传统的目标检测流程，不再依赖于复杂的区域提议生成步骤。DETR的核心思想是将每个目标视为查询向量，并通过编码器-解码器结构直接预测出目标的位置和类别。

它的前馈网络层主要包括以下几个部分：

1. **输入表示**：首先，图像被送入一个预训练的CNN（如ResNet或ViT），提取特征图。然后，每个位置的特征会被转化为固定大小的嵌入向量，称为“位置编码”。

2. **自注意力层**（Self-Attention Layer）：这是Transformer的基础模块，它允许模型学习输入序列中的全局上下文信息。在这个阶段，每个查询向量都会与所有其他位置的特征进行交互，形成注意力权重，用于加权聚合特征。

3. **跨注意力层**（Cross-Attention Layer）：如果存在可选的关键字（如目标候选），这一层会引入跨模态的关注机制，使得模型能够同时考虑视觉特征和查询向量。

4. **点wise变换**：经过注意力之后，通过一些线性变换和残差连接，更新查询向量以更好地反映其对应的目标信息。

5. **多头注意力**（Multi-Head Attention）：为了捕获不同抽象层次的信息，DETR通常采用多头注意力机制，对输入进行多次独立处理。

6. **Feedforward Network**：这是一系列密集的全连接层，进一步转换和提炼注意力结果。

7. **预测头**：最后，一个或多个预测头会对更新后的查询向量进行分类和回归，分别预测目标的类别和精确边界框坐标。