RT-DETR结构图

### RT-DETR 架构概述

RT-DETR 是一种基于 Transformer 的目标检测模型，其核心在于利用自注意力机制来增强对图像中不同部分之间关系的理解。这种设计区别于传统的 YOLO 系列模型所依赖的连续卷积层直接分析图像区域的方式[^1]。

#### 模型结构特点

- **编码器-解码器架构**：RT-DETR 使用标准的 Transformer 编码器-解码器框架，其中编码器负责提取特征，而解码器则用于预测边界框和类别标签。

- **多尺度特征融合**：为了更好地捕捉物体的不同尺度信息，该模型通常会结合多个层次的特征图来进行最终的预测。

- **位置嵌入**：引入了可学习的位置嵌入向量，帮助模型理解输入图片的空间布局，这对于提高定位准确性至关重要。

- **动态锚点生成**：摒弃了预定义的固定大小和比例的传统锚点设置，转而采用动态方式根据具体任务需求创建合适的候选框。

graph TB;
    A[Input Image] --> B{Backbone CNN};
    B --> C[Multi-scale Features];
    C --> D(Transformers Encoder);
    E[(Position Embedding)]-.->D;
    F[Queries] --> G(Transformers Decoder);
    H[Class Prediction] <-- G;
    I[Bounding Box Regression] <-- G;
    J[Final Detection Results] <-- H & I;

此图表展示了 RT-DETR 的主要组成部分及其工作流程：

- 输入图像经过骨干网络（通常是高效的卷积神经网络）得到多尺度特征表示；
- 这些特征被送入带有位置编码的变压器编码器模块，在这里发生复杂的交互计算；
- 解码阶段接收来自编码端的信息以及一组查询向量作为初始状态，逐步迭代更新直至收敛到最优解；
- 输出包括分类得分与回归后的边框坐标，共同决定了最后的目标检测结果。