EfficientNet：深度、宽度和分辨率的均衡提升卷积神经网络性能

"这篇论文《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》由Mingxing Tan和Quoc V. Le共同撰写，主要探讨了如何更有效地扩大卷积神经网络（ConvNets）的规模以提高性能。传统的做法是先在固定的资源预算下开发模型，然后在资源允许的情况下扩大规模以提升准确性。然而，作者发现，通过平衡网络的深度、宽度和分辨率可以取得更好的效果。他们提出了一种新的缩放方法，即使用复合系数均匀地调整深度、宽度和分辨率的所有维度。这种方法在扩展MobileNets和ResNet等模型时表现出了优越性。 进一步来说，作者运用神经架构搜索设计了一个新的基础网络，并将其扩展成一个模型系列——EfficientNets。这个系列的模型在准确性和效率上都远超以往的ConvNets。特别地，EfficientNet-B7在ImageNet数据集上的顶级准确度达到了84.3%，比现有的最佳ConvNet小8.4倍，推理速度快6.1倍。此外，EfficientNets在迁移学习方面也表现出色，能在多个目标任务上实现高性能。" 这篇论文的核心观点是重新考虑了模型缩放策略，尤其是对于卷积神经网络。通常，模型的规模会随着可用资源的增加而扩大，以提高其准确性。然而，作者通过系统研究发现，简单地增加网络的深度、宽度或分辨率并不总是最佳策略。他们提出了一种新的平衡方法，即通过复合系数来统一调整网络的深度、宽度和分辨率，这种方法被证明在扩展模型如MobileNets和ResNet时能有效提高性能。 EfficientNets是基于这个新缩放策略构建的模型系列。它们不仅在基准任务上，如ImageNet的分类任务上实现了最先进的性能，而且在计算效率和模型大小上都有显著优势。这表明，通过精心设计的模型缩放策略，可以创建出兼顾准确性和效率的深度学习模型，这对于资源有限的环境或需要快速推理的应用尤其重要。 论文还利用神经架构搜索设计了一个新的基础网络，然后在此基础上进行扩展，形成了一系列的EfficientNets模型。这种使用自动化设计工具的方法有助于找到最优的网络结构，从而进一步优化模型的性能。EfficientNets的成功表明，模型的设计和扩展策略是深度学习领域持续改进的关键要素之一。