MobileNet-V2：轻量化网络的革新——深度可分离卷积与Inverted Residuals

MobileNet-V2是一种轻量级的卷积神经网络，由Google团队在2018年的论文《InvertedResiduals and Linear Bottlenecks: Mobile Networks for Classification, Detection, and Segmentation》中提出，该论文发表在arXiv上。相比于前一代的MobileNet-V1，MobileNet-V2在设计上有显著的创新： 1. **Inverted Residuals（倒置残差块）**： 传统的残差块首先通过一个1x1的卷积层减小通道数（"压缩"），接着进行3x3的深度可分离卷积（Depth-wise Convolution），最后再通过一个1x1的卷积层增加通道数（"扩张"）。而MobileNet-V2反转了这个过程，先通过一个扩张的1x1卷积层，然后才是3x3的深度可分离卷积，以保留更多的特征信息，避免过多的信息损失。 2. **Linear Bottlenecks（线性瓶颈）**： 在MobileNet-V2的残差块中，作者避免了ReLU激活函数对特征的破坏性影响。在传统设计中，ReLU会将负值置零，这可能导致某些特征丢失。因此，作者移除了ReLU，代之以更平滑的线性激活（Linear），使网络能够更好地保持特征信息。 MobileNet-V2与MobileNet-V1的主要区别在于： - 在每个深度可分离卷积之前增加了一个1x1的扩张层，这增加了网络的通道数，从而提高特征提取能力。 - 结尾部分采用线性激活而非ReLU，以减小非线性操作可能带来的信息损失。 此外，MobileNet-V2的block结构与ResNet（残差网络）相比有显著差异。ResNet的典型路径是先压缩（通过1x1卷积），然后进行特征提取（3x3卷积），最后再扩张（再次1x1卷积）。相比之下，MobileNet-V2的倒置残差块则是先扩张，再提取特征，最后压缩，这种设计有助于在网络保持低计算成本的同时，提高模型的性能。 MobileNet-V2的设计初衷是为了在保持高性能的同时，降低计算资源消耗，使其适合在移动设备等资源受限的环境中部署。由于其轻量化特性，它在图像分类、目标检测和分割等多个任务上都取得了很好的效果，并且成为轻量级深度学习模型的标准之一。