深度学习作业：卷积操作与全链接层参数计算

"Lecture9作业，李星毅U201712072自实1701，讨论了全链接神经网络和卷积神经网络的参数数量以及卷积运算后的输出神经元个数。此外，还涉及了神经网络的反向传播算法，给出了一种特定网络结构在给定样本上的权重更新过程。" 本文主要涉及的知识点如下： 1. **全链接神经网络参数计算**： - 在一个300x300大小的RGB图像中，输入层的神经元个数为300x300x3（宽度x高度x颜色通道），加上偏置项，总数为270001。如果这层与100个神经元的隐藏层全链接，那么参数总数为输入层神经元数乘以隐藏层神经元数，即270001 x 100 = 27,000,100。 2. **卷积神经网络参数计算**： - 当使用100个5x5大小的滤波器对同一图像进行卷积操作时，若滤波器移动步长(stride)为1且没有填充(padding)，根据卷积层参数计算公式，参数数量为（滤波器宽度x滤波器高度x输入通道数+1）x 滤波器个数，即(5x5x3+1)x100 = 7600。 - 卷积后输出的神经元个数可以通过计算输出尺寸得出。假设无填充，输出尺寸为 (输入尺寸 - 滤波器尺寸 + 2*padding) / stride + 1。因此，输出尺寸为 (300-5+1) / 1 + 1 = 296，所以输出端神经元个数为296x296x100 = 8,761,600。 3. **卷积层输出尺寸计算**： - 公式：，其中I表示输入图像尺寸，O表示输出图像尺寸，S表示步长，F表示滤波器大小，P表示填充。 - 在这个例子中，I=300，F=5，S=1，P=0，所以O=296。 4. **神经网络的反向传播算法**： - 反向传播算法用于更新神经网络的权重。在给定的网络结构中，第一层有两个神经元，第二层有三个神经元，第三层有一个神经元。激活函数为ReLU，第三层为线性输出，误差函数为均方误差，学习率为0.01。 - 文档中给出了初始化权重矩阵，并描述了如何在样本集上应用反向传播算法，但具体权重更新的计算未展示。 总结，这个资料涵盖了神经网络中两种常见的层（全连接层和卷积层）的参数计算，以及卷积操作后的输出尺寸计算。同时，它还介绍了反向传播的基本概念，并展示了如何在一个特定的网络结构中进行权重更新，这对于理解和实现深度学习模型至关重要。