通用瘦身网络与训练优化：提升ImageNet与更多任务性能

通用可精简网络与改进的训练技术是当前研究的热点，特别是在深度学习领域。这项工作主要由美国伊利诺伊大学香槟分校的研究团队提出，他们关注的是如何设计和训练能够根据运行时需求动态调整网络宽度的神经网络，即所谓的通用可瘦身网络（US-Nets）。这种网络可以在预定义的宽度集中选择，从而实现在保持精度的同时优化效率。 US-Nets的设计允许网络在不同的宽度上执行，这与Slimmable Networks有所不同，后者仅限于预先定义的宽度选择。研究者扩展了这一概念，不仅适用于具有批量归一化层的网络，还探讨了如何处理没有批量归一化的网络结构。通过这种方法，可瘦身网络能够在不影响性能的前提下，适应不同的计算资源限制。 为了提升训练效果和测试精度，研究者提出了两种创新的训练技术：三明治规则和原地蒸馏。三明治规则可能涉及在训练过程中交替调整网络的宽度，而原地蒸馏可能是利用已有模型的知识来指导新模型的训练，以提高性能。 实验部分，研究者将US-Nets应用到ImageNet图像分类任务上，对比了通用可精简的MobileNetv1和MobileNetv2与单独训练以及4开关可精简网络的性能。结果显示，通用可瘦身网络在不同宽度下都能展现出较好的性能，甚至与专为特定宽度设计的模型相当。 此外，研究者还评估了通用可精简网络在图像超分辨率和深度强化学习任务上的表现，展示了其在多样应用场景下的潜力。通过大量的实验数据，这项研究为评估网络架构的FLOPs-Accuracy谱提供了新的可能性，即网络的计算复杂度与其性能之间的关系。 总结来说，这项工作不仅推动了神经网络设计的灵活性，还通过创新的训练技术改进了网络的训练效率和精度，这对于资源受限的设备和任务具有实际意义。感兴趣的读者可以访问<https://github.com/JiahuiYu/slimmable_networks>获取代码和模型。这项研究对于理解深度学习中的网络结构优化和高效部署具有深远影响。