深度学习对比：CNN与全联接神经网络的异同与应用

实验六：深度神经网络1 本实验旨在全面探讨卷积神经网络(CNN)与全连接神经网络在深度学习中的异同，重点聚焦于前向传播和后向传播算法的应用及其优化过程。首先，它们的共同点在于都依赖于前向/后向传播算法，实现多层结构，CNN包含输入层、卷积层、激活层、池化层和全连接层，而全连接网络则包括输入层、隐藏层和输出层，两者都采用激活函数，如sigmoid和softmax等提升非线性表达能力。 然而，CNN的特点在于它内含全连接结构，通过卷积和池化操作减少数据维度，提高计算效率。这使得CNN特别适用于图像处理任务，如人脸识别、身份证识别和通用手写体识别，其特征提取能力强，能够自适应学习特征，但需要更多参数调优。相比之下，全连接网络虽然功能强大，但容易陷入局部最优解，且存在梯度消失问题。 实验的核心内容包括： 1. 前向传播：每一层神经元通过加权求和和激活函数（如sigmoid）将上一层的输入映射到(0,1)区间。以多层网络为例，通过矩阵形式表示为： \[ z^{(l)} = W^{(l)}a^{(l-1)} + b^{(l)} \] 其中 \( z \) 是输入，\( W \) 和 \( b \) 分别是权重和偏置，\( a \) 是激活值。这是迭代过程的关键步骤。 2. 反向传播：使用sigmoid激活函数的优势在于易于求导。损失函数通常是所有预测值与真实值差的平方和，定义为 \( L = \frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)})^2 \)。求导后，利用梯度下降法更新权重和偏置，学习率的选择至关重要，既要避免过快导致不收敛，又要防止过慢陷入局部最优。 3. 实际应用：实验要求提供至少两个深度神经网络在实际任务中的应用案例，如人脸识别时的特征提取和分类，以及手写体识别中的字符识别精度，同时展示如何通过调整网络架构、参数和数据预处理来优化模型性能。 总结来说，这个实验不仅锻炼了对深度神经网络基础理论的理解，还强调了实践中的调参技巧和解决实际问题的能力，对提升学生在深度学习领域的实战经验具有重要意义。