transformer模型的热点问题
时间: 2023-12-17 07:29:16 浏览: 41
以下是关于Transformer模型的热点问题的介绍:
1. Transformer模型在视觉任务上表现出卓越的性能,感受野赋予Transformer比CNN更强的表征能力。
2. 简单地扩大感受野会引起一些问题,如使用密集注意力(例如ViT)会导致过多的内存和计算成本,并且特征可能会受到超出兴趣区域的无关部分的影响。
3. PVT或Swin Transformer中采用的稀疏注意力与数据无关,可能会限制对远程(long range)关系建模的能力。
4. 最新研究表明,DPT在具有相似计算复杂性的情况下,在Top-1精度上实现了显著提高,优于Swin Transformer、PVT、DPT和DeiT。
5. 在384×384分辨率下进行微调时,DAT模型继续比Swin Transformer性能好0.3。