transformer目标检测的原理

Transformer目标检测是一种基于set prediction的目标检测新思路，它的核心是使用Transformer结构来直接预测一组对象的类别和位置。相比于传统的目标检测方法，它不需要使用anchor或proposal等手段来生成候选框，而是直接对整张图片进行编码，然后使用Transformer结构来预测对象的类别和位置。具体来说，它将输入图像分成若干个patch，然后使用CNN编码器将每个patch映射到一个固定长度的向量表示，接着使用Transformer结构对这些向量进行处理，最后输出每个对象的类别和位置。这种方法的优点是可以直接对整张图片进行处理，避免了anchor或proposal等手段带来的噪声和误差，同时也可以处理不同数量和大小的对象。目前，DETR是使用Transformer结构进行目标检测的代表性工作之一。