mobilenetv3改进

MobileNetV3是一种轻量级的深度学习模型，由Google在2019年发布，它在移动设备上实现了更高效的计算性能和更高的精度。相较于前一代MobileNetV2，MobileNetV3有以下几个关键改进：

1. **基础模块设计**：引入了基于Squeeze-and-Excitation (SE)块的Inverted Residual结构，称为MBConv（Mobile Inverted Bottleneck Convolution）。这种结构结合了深度可分离卷积（Depthwise Separable Convolution）与残差连接，并加入了宽度可调整的线性层（Linear Bottleneck），增强了特征提取能力。

2. **分辨率调整**：MobileNetV3在处理不同分辨率输入时采用了动态缩放策略（Dynamic Input Resolution），通过改变深度可分离卷积中的扩张系数（expansion ratio），使得网络能适应不同尺度的任务。

3. **多尺度特征融合**：采用一种名为"硬正则化"(Hard Swish)的激活函数替代ReLU，同时利用不同尺度的特征金字塔（Multi-Scale Feature Pyramid）来提高对细节和全局信息的捕捉。

4. **蒸馏技术**：MobileNetV3利用知识蒸馏（Knowledge Distillation）的方式，从较大的模型（如更大的MobileNetV3-Large）中获取额外的知识，进一步提升小模型的性能。

5. **剪枝优化**：模型还进行了轻度的权重剪枝（Pruning），减少了参数数量，有助于在资源受限的设备上运行。