深度神经网络是由谁在什么时候发明提出的？

深度神经网络最早由加拿大计算机科学家Geoffrey Hinton在1986年提出，至今已经有30多年的历史了。在20世纪80年代，Hinton和他的同事David Rumelhart和Ronald Williams提出了一种称为“误差反向传播”的训练方法，利用这种方法可以有效地训练深度神经网络，这也为深度学习的发展奠定了基础。

相关问题

什么是反向传播算法？深度神经网络中是如何应用的？

反向传播算法是一种训练深度神经网络的常用方法。它通过计算代价函数（损失函数）对网络中每个可调参数的梯度，并用梯度下降法更新参数，以最小化代价函数。

在深度神经网络中，反向传播算法可以在前向传播过程中计算每一层的输出值，并将其输入到代价函数中，计算网络的误差。然后反向传播算法通过反向传递误差，计算每个可调参数的梯度，从而更新参数。在反向传播算法中，常用的激活函数是sigmoid、ReLU等。

需要注意的是，反向传播算法并不是万能的，有时可能会遇到梯度消失或梯度爆炸等问题。针对这些问题，一些改进的算法如ReLU、Batch Normalization、Dropout等也被提出来了。

什么是卷积神经网络？最早是谁提出了卷积神经网络？

卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，通常用于处理具有类似网格结构的数据，例如图像。CNN中的每个神经元都只响应一小部分视野，而不是对整个输入进行处理。这些神经元的响应被称为特征图，它们在整个网络中被组织成特征映射。卷积神经网络通过卷积层、池化层和全连接层等不同类型的层来实现对图像等数据的处理。

早期感知机的推动者是Rosenblatt，但卷积神经网络的提出者是Yann LeCun等人。1998年，Yann LeCun等人提出了一种名为LeNet-5的卷积神经网络，用于手写数字识别。这是卷积神经网络的一个重要里程碑，也是深度学习的开端之一。