自动搜索技术打造MobileNetV3：性能与效率的平衡

"这篇论文笔记关注的是MobileNetV3，一个通过自动搜索技术优化的移动端神经网络模型，旨在平衡准确率和延迟。MobileNetV3包括两种变体：MobileNetV3-Large和MobileNetV3-Small，适用于图像分类、目标检测和语义分割任务。文中还介绍了LR-ASPP解码器，专为语义分割设计。MobileNetV3的块结构融合了深度可分离卷积、SE模块和hard-swish激活函数。此外，论文还讨论了如何重新设计昂贵层以降低成本并提高效率。" MobileNetV3是深度学习领域中针对移动设备优化的模型系列的最新成员。该研究的核心是利用神经架构搜索（NAS）来自动设计网络结构，以适应移动端的CPU计算能力，同时保持高精度和低延迟。MobileNetV3并未引入全新的基础块，而是对现有元素进行了创新性改进。 论文中提出的两个主要网络架构——MobileNetV3-Large和MobileNetV3-Small，是针对不同性能需求而设计的。前者适合对计算资源要求较高的任务，后者则更适合资源有限的环境。这两种架构都被证明在多个计算机视觉任务中表现出色，包括图像分类、对象检测以及语义分割。 在解决语义分割问题时，MobileNetV3提出了LR-ASPP（Lite Reduced Atrous Spatial Pyramid Pooling）解码器，这是一个轻量级的版本，用于增强模型的分割能力。ASPP通常用于扩大模型的感受野，以捕捉不同尺度的上下文信息，而LR-ASPP是针对移动平台的资源限制进行了优化。 MobileNetV3的块结构融合了多个先前模型的优点。它保留了MobileNetV1的深度可分离卷积，这种卷积方法能显著减少计算量，同时保持了信息流。MobileNetV2的逆残差结构与线性瓶颈相结合，提高了信息传递的效率。此外，借鉴了Squeeze-and-Excitation（SE）机制，但SE模块被置于深度可分离卷积的深度wise部分之后，而不是pointwise卷积后，这一改变使得模型能够更有效地利用通道间的信息。 为了进一步优化网络性能，作者发现网络的首尾部分相对较为昂贵，即它们处理的特征图分辨率较高。因此，他们对这些层进行了调整，例如在全局平均池化层之前添加了一个1x1卷积的块，以减少计算成本，同时保持了模型的准确性。这种改动节省了大约7ms的运行时间，并降低了参数数量。 总而言之，MobileNetV3是移动设备上高效且准确的模型，它通过自动搜索技术，结合了多项现有技术的创新改进，以实现更优的资源利用率。其设计考虑了实际应用中的延迟和精度平衡，使得模型能在有限的硬件资源上执行复杂的计算机视觉任务。