参数映射与架构搜索提升深度神经网络性能

本文档是2020年在国际计算机视觉与模式识别会议（ICLR）上发表的一篇名为“FAST NEURAL NETWORK ADAPTATION VIA PARAMETER REMAPPING AND ARCHITECTURE SEARCH”的会议论文。作者来自华中科技大学和Horizon Robotics的研究团队，他们探讨了深度神经网络在计算机视觉任务中的应用，尤其是针对语义分割和目标检测领域的性能提升。 论文的核心焦点在于解决了一个关键问题：如何设计专为检测和分割任务优化的神经网络架构，同时减少预训练阶段对计算资源的依赖。传统的做法是使用像ImageNet上预训练的通用图像分类网络作为基础架构（backbone），但这可能导致性能提升有限。为了解决这个问题，研究者提出了一种快速的神经网络适应方法，它结合了参数映射（parameter remapping）和架构搜索策略。 参数映射（parameter remapping）是一种创新的方法，通过将预先训练好的网络参数适配到特定于任务的网络结构，减少了重新训练或微调的时间成本。这种方法旨在保留原始网络在大规模数据集如ImageNet上的学习，同时利用这些知识来初始化新架构，从而加速模型收敛并提高针对性。 另一方面，神经架构搜索（NAS）在最近的研究中已经显示出了在目标检测和语义分割领域设计专用网络的强大潜力。然而，传统的NAS方法往往涉及构建一个庞大的超网络（supernet），其包含多种可能的架构，进行昂贵的搜索过程，这在计算效率上是一个挑战。本文提出的新方法旨在减少这种超网络的复杂性和计算开销，通过更智能的设计选择，使架构搜索更加高效。 该研究旨在通过结合参数映射和优化的架构搜索策略，开发出一种能在保持高性能的同时显著降低适应性训练时间的快速适应神经网络技术。这对于在资源受限的情况下，提升计算机视觉任务的效率和准确性具有重要意义，可能会推动未来深度学习框架的发展趋势。