attention注意力机制是什么时候由谁提出的
时间: 2023-07-11 15:59:15 浏览: 320
注意力机制的序列标注-attention
注意力机制(Attention Mechanism)是一种类似于人类感知注意力机制的模型,在机器翻译、语音识别、图像处理等领域广泛应用。Attention机制的提出者并不唯一,以下是一些重要的里程碑:
- 2014年,Google的研究人员Dzmitry Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》中,首次将注意力机制引入到机器翻译模型中。
- 2015年,微软研究院的研究人员Xu Kelvin等人在论文《Show, Attend and Tell: Neural Image Caption Generation with Visual Attention》中,将注意力机制应用于图像描述生成领域。
- 2016年,Google的研究人员Ashish Vaswani等人在论文《Attention Is All You Need》中,提出了一种基于注意力机制的新型神经网络模型——Transformer,用于进行自然语言处理任务。
注意力机制的发展至今已经成为深度学习领域的重要研究方向之一,有越来越多的学者在这个领域进行研究。
阅读全文