微软在线端到端剪枝优化方法OToV2：自动化压缩达30%

本文主要介绍了微软提出的一种新的在线端到端模型压缩方法——oToV2（Online-to-Optimal Version 2）。oToV2相较于其前身oToV1，实现了更高的自动化程度，不仅提升了性能，而且在模型压缩方面展现出了显著的优势。与传统的神经架构搜索(NAS)不同，oToV2并非用于设计新架构，而是作为现有模型优化的工具，可以与NAS等组件结合使用，以实现更高效的模型瘦身。 算法流程的核心是通过构建一个名为ZIG (Zero Importance Grouping) 的结构，将模型的参数分组，其中ZIG搜索过程包括以下几个步骤： 1. 构建Graph：首先构建模型的参数关系图，以便分析各个节点间的相互依赖。 2. ZIG划分：将Stem节点（代表网络的主要部分）的可训练参数成对取出，形成多个参数组，同时将Accessory节点（辅助节点）的参数插入到与其相关的Stem节点组中。 3. 避免影响输出层：临近输出层的组件不参与ZIG构建，以保持模型的输出精度。 4. 强正则性处理：DHSPG (Dynamic Hard Sparse Pruning Grouping) 在ZIG分组时引入了正则化，防止局部最优陷入过早收敛。根据不同的任务需求，模型会在训练过程中动态调整ZIG分组策略。 5. 参数设置：关键参数如epsilon（稀疏度探索的激进程度，推荐设置为0.9或0.95）、target_group_sparsity（目标模型的稀疏度）、partition_step（对ZIG分组的时间步）、start_pruning_steps（启动压缩的步数）和half_space_project_steps（映射为0的步数）影响了压缩过程的精细控制。 实验结果显示，oToV2方法在保持模型性能的同时，能够实现高达30%的模型压缩率，这对于资源受限的设备部署和能源效率提升具有实际价值。这种方法的易用性和灵活性使得它成为新手入门和高级研究人员的理想选择，无需过度依赖复杂的预训练或超参数调优。 oToV2提供了一种有效的在线端到端模型剪枝策略，通过智能的参数组管理和正则化机制，实现了高效且性能稳定的模型压缩，有助于减少计算成本并提升模型部署的灵活性。