transformer提出时间

Transformer最早于2017年由Google机器翻译团队提出，在《Attention Is All You Need》一文中。 该模型完全取代了以往的RNN和CNN结构，采用了由Transformer堆叠的方式构建模型。Transformer在自然语言处理领域取得了惊人的效果。随后，它也被引入到计算机视觉领域，首次被用于目标检测任务，如ECCV2020中的《End-to-End Object Detection with Transformers》。之后，VIT模型完全抛弃了CNN，使用Transformer来实现图像分类任务。

总结起来，Transformer提出于2017年，并在NLP领域取得了突出的成果。之后，它也在计算机视觉领域得到了广泛应用。

相关问题

transformer提出的时间

Transformer 是一种基于注意力机制的神经网络模型，由 Vaswani 等人在 2017 年提出。它是用于自然语言处理领域中的机器翻译任务，取代了传统的循环神经网络模型，并在多个 NLP 任务上取得了优异的效果。Transformer 可以同时处理输入序列和输出序列，而且在每个位置上不需要像循环神经网络一样进行顺序计算，因此可以并行计算，大大提高了训练速度和效果。

2020年后基于Transformer的提出的时序预测模型有哪些？按照提出时间排序

以下是2020年后基于Transformer的时序预测模型，按照提出时间排序：

1. Performer（2020年6月）：由Google Brain团队提出的一种新型Transformer模型，通过随机特征映射技术，大大降低了计算复杂度。Performer在语言建模、图像分类和时序预测等任务上均表现出色。

2. TimeSformer（2021年3月）：由Facebook AI Research提出的一种新型Transformer模型，专门用于视频时序预测任务。TimeSformer将视频帧序列视为一个时间序列，使用Transformer编码器来提取空间特征和时间特征，然后使用Transformer解码器进行时序预测。

3. ST-TNN（2021年5月）：由清华大学提出的一种新型Transformer模型，专门用于时间序列预测任务。ST-TNN使用空间Transformer和时间变换网络来提取空间和时间特征，然后使用Transformer解码器进行时序预测。

4. SETR（2021年6月）：由华为Noah's Ark实验室提出的一种新型Transformer模型，专门用于图像序列预测任务。SETR将图像序列看作一个时间序列，使用Transformer编码器提取空间特征和时间特征，然后使用Transformer解码器进行图像序列预测。

5. DALL-E 2（2021年7月）：由OpenAI提出的一种新型Transformer模型，可以生成多种类型的图像。DALL-E 2使用Transformer编码器来提取文本特征，然后使用Transformer解码器将文本特征转换为图像序列。

6. LSTM-Transformer（2021年8月）：由微软亚洲研究院提出的一种新型Transformer模型，专门用于时间序列预测任务。LSTM-Transformer将LSTM和Transformer结合起来，使用LSTM编码器提取时间特征，然后使用Transformer解码器进行时序预测。