SuperTickets：联合神经架构搜索与参数修剪的高效方法

"SuperTickets: 高效神经架构搜索与参数修剪的联合训练策略研究" 在当前的深度学习领域，神经架构搜索（NAS）和参数剪枝是两种重要的技术，分别用于寻找最优的网络结构和减小模型的计算负担。论文“SuperTickets”探讨了一种创新的二合一方法，它结合了这两种技术，旨在直接从超网中提取出既高效又准确的小型子网络，这些子网络被称为“SuperTickets”。 超网是一种包含多种可能架构的网络结构，通常被用来进行 NAS 搜索。传统的 NAS 方法通常会先搜索超网中性能优良的架构，然后对这个架构进行参数剪枝，以进一步减小模型大小。然而，这一过程需要多次训练和修剪，消耗大量的计算资源。 论文中，研究者首次提出，高效且具有“彩票子网络”性质的DNN可以直接从超网中识别出来，无需繁琐的搜索-训练-修剪-再训练流程。他们引入了“SuperTickets”概念，这是一种联合架构搜索和参数剪枝的训练策略，允许子网络的连接在超网训练过程中动态调整，以优化准确性和效率的平衡。 “彩票假设”认为，大型DNN内存在能独立训练且表现良好的小型子网络，这些子网络就像“中奖彩票”。SuperTickets方法就是基于这个假设，直接在超网中寻找这些具有优秀性能的“彩票子网络”，并且这些子网络不仅在原始任务上表现出色，还能有效地迁移到其他任务，展现出了跨任务的泛化能力。 实验结果显示，SuperTickets在三个不同的任务和四个基准数据集上的性能优于传统的NAS和修剪方法，同时显著降低了计算成本。这一成果对于推动深度学习模型在资源受限的设备上的应用具有重要意义，有助于实现更加节能且高效的模型。 关键词涉及了彩票假说、有效训练与推理、神经架构搜索以及任务未知的DNN，表明该研究关注于提高模型在不同场景下的适用性和效率。通过开源代码和预训练模型，研究者鼓励社区进一步探索和验证SuperTickets方法的有效性，促进深度学习模型优化领域的进展。