卷积神经网络是那篇文献提出的
时间: 2024-02-22 16:54:13 浏览: 38
卷积神经网络(Convolutional Neural Network,CNN)是由Yann LeCun等人在1998年的论文《Gradient-based learning applied to document recognition》中提出的。这篇论文介绍了一种基于梯度的学习方法,用于文档识别任务。在该论文中,LeCun等人首次引入了卷积神经网络的概念,并将其应用于手写数字识别任务,取得了较好的效果。
相关问题
全连接神经网络的原始参考文献
全连接神经网络(Fully Connected Neural Network)是一种常见的人工神经网络模型,也被称为多层感知机(Multilayer Perceptron,MLP)。其原始参考文献可以追溯到以下几篇经典的论文:
1. Rosenblatt, F. (1958). The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, 65(6), 386-408.
2. Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533-536.
3. LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436-444.
这些论文分别介绍了全连接神经网络的基本原理和训练方法。Rosenblatt的论文提出了感知机模型,为全连接神经网络的起源奠定了基础。Rumelhart等人的论文则引入了反向传播算法,使得全连接神经网络的训练更加高效。LeCun等人的论文则将全连接神经网络扩展到深度学习领域,并提出了卷积神经网络(Convolutional Neural Network,CNN)等重要概念。
attention is all you need这篇文献的理解
"Attention is All You Need" 是一篇由 Google Brain 团队于2017年提出的论文,介绍了一种全新的神经网络结构:Transformer。这篇论文提出了一种基于自注意力机制(self-attention)的新型神经网络结构,用于解决序列到序列(sequence-to-sequence)的问题。相对于传统的循环神经网络(RNN)和卷积神经网络(CNN),Transformer能够在较短的时间内处理更长的序列,并且在机器翻译、语音识别、文本摘要等任务上取得了优秀的成绩。
Transformer模型的核心是自注意力机制,它能够在不同位置之间建立直接的联系,使得模型可以更好地捕捉长距离依赖关系。除此之外,Transformer还采用了一种全新的编码器-解码器(encoder-decoder)结构,其中编码器和解码器都是由多个层组成的,每个层都包含了多头自注意力机制和前馈神经网络(feed-forward network)。
总的来说,"Attention is All You Need" 提出了一种新的神经网络结构Transformer,该结构采用了自注意力机制和编码器-解码器结构,能够有效地解决序列到序列的问题。该论文的贡献被广泛认为是深度学习领域的一次重大突破,对后续的自然语言处理研究产生了深远的影响。