神经网络与深度学习作业详解

"L7-8神经网络与深度学习作业.docx" 这是一份关于神经网络与深度学习的作业，涵盖了多个重要概念和计算问题。以下是根据题目内容详细解释的知识点： 1. **神经网络功能实现**：问题1讨论了哪些权重配置允许神经网络实现特定功能。神经网络的输出是其输入和权重的加权和之后通过激活函数处理的结果。不同的权重配置会影响网络的线性组合特性，因此，理解不同权重组合如何影响输出至关重要。 2. **网络参数数量**：问题2询问了一个3-5-1神经网络的参数数量。这个结构意味着3个输入节点，5个隐藏节点，1个输出节点。参数数量包括隐藏层的输入权重和偏置项，以及输出层的隐藏层权重和偏置项。对于3-5-1网络，参数总数为3 * 5 + 5 + 1 = 19。 3. **前向传播与反向传播**：问题3要求在给定的计算图中进行前向传播和反向传播的数值计算。前向传播涉及从输入到输出的计算，而反向传播用于计算损失函数相对于权重的梯度，这是优化权重的关键步骤。 4. **激活函数及其导数**：问题4要求分析Sigmoid、双曲正切（tanh）和ReLU函数的导数，并讨论它们作为激活函数的优缺点。Sigmoid和tanh在0附近饱和，可能导致梯度消失，而ReLU则避免了这一点，但在负区间中梯度为零，可能产生“死ReLU”问题。 5. **全连接层参数计算**：问题5探讨了全连接层的参数数量。对于一个300*300的RGB图像，（1）若与100个神经元的全连接层相连，参数数为300*300*3 * 100。 （2）如果使用100个5*5*3滤波器，参数数为(5*5*3+1)*100（包括偏置项），输出神经元个数取决于卷积操作的具体计算。 6. **卷积神经网络参数计算**：这个问题详细描述了一个CNN架构并要求计算各个层的参数量和输出尺寸。计算涉及滤波器的数量、大小、步长和填充。例如，输入到Conv-1的参数量是96 * (11*11*3 + 1)，MaxPool-1后的神经元数量为((227 - 11) / 4) * ((227 - 11) / 4) * 96，经过第二次卷积操作后的图像大小由填充和卷积计算得出，MaxPool-2到FC-1的参数量是输出神经元数量乘以4096，而FC-1到FC-2的参数量是4096 * 1000。 7. **样本集与网络结构**：问题7提到了一个有三层的神经网络，其中ReLU是前两层的激活函数。ReLU函数有助于避免梯度消失，使得训练更加有效。网络结构的参数计算涉及到输入节点、隐藏节点和输出节点的数量，以及每层的激活函数。 以上就是神经网络与深度学习作业中的关键知识点，涉及了神经网络的基础架构、参数计算、激活函数的选择以及前向传播和反向传播的概念。这些知识是理解和构建深度学习模型的基础。