Transformer模型起源

Transformer模型最早于2017年由Google机器翻译团队提出，出现在著名的《Attention Is All You Need》论文中。该论文提出了一种完全取代了RNN和CNN结构的新型模型，即由Transformer堆叠的方式构建的模型。Transformer首先在自然语言处理领域取得了令人惊讶的成果，随后在计算机视觉领域也得到了广泛应用，如ECCV2020中首次将Transformer引入到目标检测任务中，并通过VIT模型在图像分类任务上完全抛弃了CNN，改用Transformer实现。