resnet是怎么先降维后升维的

ResNet（Residual Network）是一种深度卷积神经网络，它通过残差连接（residual connection）解决了深层网络训练过程中的梯度消失和梯度爆炸问题。在ResNet中，先降维后升维是通过使用卷积层和恒等映射（identity mapping）实现的。

具体来说，ResNet中的每个残差块（residual block）由两个卷积层组成。在每个残差块的输入和输出之间，引入了一个跳跃连接（skip connection），将输入直接添加到输出上。这样做的目的是为了保留输入的信息，使得网络可以学习到残差部分的变化。

在降维过程中，ResNet使用了一个步长为2的卷积层来减小特征图的尺寸。这样可以将特征图的宽度和高度减半，同时将通道数加倍。这个操作可以有效地减少参数数量和计算量，同时提高网络的表达能力。

在升维过程中，ResNet使用了一个1x1的卷积层来增加特征图的通道数。这个操作可以增加网络的非线性能力，并且使得网络可以学习到更多复杂的特征。

总结起来，ResNet通过残差连接实现了先降维后升维的操作，这样可以减少参数数量和计算量，同时提高网络的表达能力。

相关问题

resnet50的结构

ResNet50是一种深度残差神经网络，由50个卷积层和全连接层组成，其中卷积层分为多个块，每个块内部包含多个卷积层，如下所示：

1. 输入层：224x224x3的图片
2. 卷积层：7x7大小的卷积核，步长为2，输出特征图112x112x64。
3. 池化层：3x3大小的池化核，步长为2，输出特征图56x56x64。
4. 残差块1：由3个残差单元组成，每个残差单元包括两个3x3大小的卷积层，输出特征图56x56x256。
5. 残差块2：由4个残差单元组成，每个残差单元包括两个3x3大小的卷积层，输出特征图28x28x512。
6. 残差块3：由6个残差单元组成，每个残差单元包括两个3x3大小的卷积层，输出特征图14x14x1024。
7. 残差块4：由3个残差单元组成，每个残差单元包括两个3x3大小的卷积层，输出特征图7x7x2048。
8. 全局平均池化层：对每个特征图进行平均池化，输出一个2048维向量。
9. 全连接层：将2048维向量映射到1000维向量，表示1000个类别的概率分布。

其中，每个残差单元包含以下结构：

1. 卷积层1：1x1大小的卷积核，用于降维，输出特征图大小不变，通道数减半。
2. 卷积层2：3x3大小的卷积核，输出特征图大小不变，通道数不变。
3. 卷积层3：1x1大小的卷积核，用于升维，输出特征图大小不变，通道数恢复到输入通道数。

在训练过程中，使用残差结构可以有效地缓解梯度消失和梯度爆炸问题，使得网络的训练更加容易和快速。

Resnet模型架构图

### ResNet 模型架构及其可视化

#### 背景介绍
残差网络（Residual Networks, ResNet）是一种用于解决深层神经网络中梯度消失问题的有效方法。通过引入跳跃连接（skip connections），使得网络能够更有效地传递梯度并训练更深层数的模型[^3]。

#### 架构特点
ResNet 的核心创新在于其模块化的构建单元——残差块（residual block）。每个残差块由两个或多个卷积层组成，并附加一条直接跨越这些层的恒等映射路径。这种设计允许信息绕过某些层次结构，从而缓解了随着网络加深而可能出现的信息丢失现象[^2]。

具体来说，在标准版本中，ResNet 使用了不同数量堆叠起来的基础组件来形成整个网络框架：

- **浅层版本 (如 ResNet-18 和 ResNet-34)** 主要采用基本的两层卷积加批标准化操作；

- **较深版本 (如 ResNet-50、ResNet-101 及 ResNet-152)** 则利用瓶颈结构（bottleneck architecture），即先降维再升维的方式减少计算量的同时保持表达能力不变甚至更强。

以下是 ResNet-50 的简化版架构图表示形式：

Input -> Conv7x7/BatchNorm/ReLU -> MaxPool ->
(1×Bottleneck Block with stride=1) * 3 ->
(1×Bottleneck Block with stride=2) * 4 ->
(1×Bottleneck Block with stride=2) * 6 ->
(1×Bottleneck Block with stride=2) * 3 ->
Average Pooling -> Fully Connected Layer -> Softmax Output

对于更加直观的理解，下面给出了一张典型的 ResNet 架构示意图：


此图为 ResNet 中最著名的变体之一 ResNet-50 的整体布局展示，清晰地展示了各个阶段之间的转换关系以及每一步的具体参数设置。