深度神经网络权重剪枝：乘子交替方向法的应用

"这篇论文提出了一种基于乘子交替方向法(ADMM)的深度神经网络(DNN)权值剪枝系统，旨在解决DNN模型过大、计算需求高的问题。作者将权重修剪问题视为非凸优化问题，并通过ADMM框架进行系统化处理，保证了权重减少率和收敛时间。实验结果显示，这种方法在保持模型准确性的同时，能够大幅减少模型大小和计算量。" 在深度学习领域，深度神经网络(DNN)因其强大的表达能力和在各种任务上的优秀表现而备受瞩目。然而，DNN模型的庞大规模和高计算需求成为了在资源有限的设备上部署这些模型的主要障碍。为了解决这一问题，研究者们提出了各种模型压缩技术，其中权重剪枝是一种有效的方法。 传统的权重剪枝工作通常是启发式和迭代的，它们在减小模型大小的同时可能无法保证模型性能。而这篇论文提出的新框架则采用乘子交替方向法(ADMM)，将权重修剪问题转化为非凸优化问题来解决。ADMM是一种优化算法，它能够将复杂问题分解为更易于管理的子问题，从而实现快速收敛。 具体来说，作者首先将DNN的权重修剪问题定义为具有组合约束的非凸优化问题，这些约束确保了特定的稀疏性要求。接着，他们利用ADMM框架将这个优化问题分解为两个子问题，一个是可以通过随机梯度下降法解决的子问题，另一个则可以使用解析法求解。这种分解策略使得算法能够在保持模型准确性的前提下，有效地进行权重修剪。 实验部分，该方法在MNIST数据集的LeNet-5模型上展示了显著的成果，实现了71.2倍的权重减少而不影响精度。在更复杂的ImageNet数据集的AlexNet模型上，该方法能实现21倍的权重降低，同样无精度损失。特别关注卷积层的修剪时，计算量得以大幅降低，相比于之前的工作减少了五倍（卷积层中权重减少13.4倍）。 这篇论文提供了一个系统化的、基于ADMM的权重修剪框架，它为DNN模型的压缩提供了理论保证，同时保持了模型的性能。这种方法对于在资源受限的设备上部署DNN模型，如嵌入式系统和物联网设备，具有重要的实际应用价值。相关代码和模型已在GitHub上公开，为其他研究者提供了可复现性和进一步研究的基础。关键词包括：系统权重剪枝、深度神经网络、乘子交替方向法。